Компьютерные науки > Искусственный интеллект [представлен 27 октября 2026 года] Название: Что улучшается во время предварительной подготовки? Отслеживание процесса накопления знаний с помощью моделей PDF HTML (экспериментальный) резюме: модели Language, предварительно подготовленные на веб-корпоре, собранные в течение нескольких лет, обучаются как общим, так и доменам. По-прежнему не ясно, каким образом эти различные виды знаний обучаются по мере продвижения вперед в области подготовки кадров. Последние модели, подготовленные на веб-снимках за различные годы, дают возможность изучить вопрос о том, как с течением времени меняются масштабы распространения знаний. Используя эти модели, мы предлагаем показатель временной изменчивости (TVS), определяемый как коэффициент вариации отрицательного log-lipplementality по моделям. Более высокий балл свидетельствует о том, что знания могут быть менее последовательными в течение многих лет использования веб-текста. Мы оцениваем шесть контрольных показателей, охватывающих различные темы с использованием шести моделей из многочисленных открытых моделей семей. Мы видим, что предметы с низким и высоким уровнем зрителей также обучаются на раннем этапе обучения, но после этого они улучшаются быстрее. В конце предварительного тренировочного процесса высоковиртуальные устройства превосходят позиции с низким уровнем TVS в 34 из 36 параметров моделей с средним преимуществом 7,3 точки привносимой вероятности точности. Такая схема наиболее…
Что улучшается во время предварительной подготовки? Отслеживание приобретения знаний с помощью моделей, используемых в точках времени
arXiv:2610.37631v1 Annualce Type: New Humber Abstract: Language Models preaded на веб-корпоре, собранной в течение нескольких лет, обучается как общим, так и доменам. По-прежнему не ясно, каким образом эти различные виды знаний обучаются по мере продвижения вперед в области подготовки кадров. Последние модели, подготовленные на веб-снимках за различные годы, дают возможность изучить вопрос о том, как с течением времени меняются масштабы распространения знаний. Используя эти модели, мы предлагаем показатель временной изменчивости (TVS), определяемый как коэффициент вариации отрицательного log-lipplementality по моделям. Более высокий балл свидетельствует о том, что знания могут быть менее последовательными в течение многих лет использования веб-текста. Мы оцениваем шесть контрольных показателей, охватывающих различные темы с использованием шести моделей из многочисленных открытых моделей семей. Мы видим, что предметы с низким и высоким уровнем зрителей также обучаются на раннем этапе обучения, но после этого они улучшаются быстрее. В конце предварительного тренировочного процесса, в 34 из 36 моделей, высоковиртуальные устройства превосходят позиции с низким уровнем TVS.