Помимо слов: контрольная карта для оценки обновления модели тест-время

arXiv: 2610 36109v1 Annuales Type: новый резюме: Тест-время обновления позволяет языковой модели изменять постоянное состояние после обучения - например, модель весов, параметры адаптера или модуль памяти - до или во время ответов на запросы. В рамках существующих оценок часто сопоставляются системы, в которых используется число или частота обновления данных и эффективность работы, измеряемые сразу же после этого. В этих резюме опущено обновленное, где, когда и в каком порядке. Таким образом, одно и то же общее число может скрыть важное различие: одна система может отвечать после одного обновления, а другая - после двух. Мы введем программу контроля, систему оценки, которая регистрирует данные обновления перед каждым ответом и отдельно оценивает изменения поведения, немедленное обучение (приобретение), позднее отзыв (удержание), сохранение не связанного с ними поведения (локальность) и результативность в новых параметрах. Мы доказываем, что только подсчеты определяют окончательное состояние и показывают, согласно заявленным допущениям, как различия между предчитавшимися ответами ограничениями