Компьютерные науки > Машинное обучение [представлено 10 октября 2026 года] Название: Can Language Models Учиться, пока они думают? Проверка процесса адаптации по всему архитектуре Вид PDF HTML (экспериментальное) Резюме: Позволить языковой модели сделать градиентные шаги в тексте, который она читает, известном как динамическая оценка, уменьшает потери на остальной части документа. Его поведение в отношении гибридных линейных архитектур, диффузионно-язычных моделей и стандартных долгосрочных контрольных показателей не было измерено. Мы измеряем его. С одной ступенью ДДГ на 128-битный кусок в прогнозах результатов МЛП последнего квартала, без подготовки и с 2k-топорным окном мягкие модели max-attinent (Qwen3-1.7B, Qven3-4B, Gemma-4-E4B) теряют 58% своих следующих потерь по документу и превосходят те же самые замороженные модели с учетом полного 32-килограммового контекста. Гибридные модели Gated-DeltaNet (Qwen3.5-4B, Qwen3,8-27 B) на каждом этапе обучения достигают менее 1%: линейные блоки внимания уже выполняют адаптацию. Механизм переводится в модели с замаскированным диффузионом, что оказывает более значительное воздействие: 8% на нейтрон-дифлинг-8В и 17-20% на DifsumputeGemma-26B после снижения скорости и вырезания обновлений. По всему тексту: BABILong, LongBench-v2, SCOTUS, HotpotQA, Musique, ContractNLY и реквизиция в 100 или более единицах двух размеров модели весы, обновленные на полном документе не восстанавливают ни одну из точности, потерянной для контекстного…
Могут ли модели языка учиться, пока думают? Проверка адаптации по всем архитектурам
arXiv:2610.33025v1 Аннонс Тип: кросс-бюллетень: позволить языковой модели сделать шаги по уклону текста, который она читает и называется динамическая оценка, уменьшает потери на остальной части документа. Его поведение в отношении гибридных линейных архитектур, диффузионно-язычных моделей и стандартных долгосрочных контрольных показателей не было измерено. Мы измеряем его. С одной ступенью ДДГ на 128-битный кусок в прогнозах результатов МЛП последнего квартала, без подготовки и с 2k-топорным окном мягкие модели max-attinent (Qwen3-1.7B, Qven3-4B, Gemma-4-E4B) теряют 58% своих следующих потерь по документу и превосходят те же самые замороженные модели с учетом полного 32-килограммового контекста. Гибридные модели Gated-DeltaNet (Qwen3.5-4B, Qwen3,8-27 B) на каждом этапе обучения достигают менее 1%: линейные блоки внимания уже выполняют адаптацию. Механизм переводится в модели с замаскированным диффузией, что оказывает более значительное воздействие: 8% на нейтрон-дифлинг-8В и 17-20% на DifsumpleGemma-26B, как только скорость снижается и повышается.