Компьютерная наука > Расчет и язык [представлен 18 февраля 2026 года (v1), последний пересмотренный вариант от 26 октября 2026 г. (эта версия v2)) Название: Reinentive Fast Vвес через Next-Squence PDF Survision View (экспериментальный) Резюме: Точные архитектуры веса предлагают многообещающую альтернативу стандартным трансформаторам для долгоконтекстной модели, заменив KV-cache периодически обновляемой фиксированной памятью. Несмотря на этот архитектурный сдвиг, они обычно обучаются с той же следующей целью прогнозирования (NTP), что и стандартные трансформаторы. Это создает несоответствие: модели быстрого веса опираются на развивающееся состояние памяти для поддержки будущих прогнозов, в то время как NTP обеспечивает лишь символический контроль за следующим символом. Мы устраняем это несоответствие с прогнозом следующей последовательности (NSP) - расширением на уровне последовательности NTP, которое обучает модели производить последовательные многослойные продолжения из их постоянного состояния памяти. Для оптимизации этой последовательности мы предлагаем рефинанс (Reinual Fast WEGTs с помощью следующего прогноза). ReFINE выбирает информационные символические позиции, основанные на предсказании энтропии, генерирует многотомные развороты, распределяет последовательности вознаграждения и оптимизирует модель с помощью Group относительной оптимизации политики (GRPO). Рефинансы применяются на протяжении всего жизненного цикла подготовки заранее подготовленных языковых моделей:…
Усиленное быстродействующее прогнозирование
arXiv:2602.16704v2 Annualce Type: заменить резюме: архитектура быстрого веса предлагает перспективную альтернативу стандартным трансформаторам для долгосрочного контекстового моделирования, заменив KV-cache периодически обновляемой памятью фиксированного размера. Несмотря на этот архитектурный сдвиг, они обычно обучаются с той же следующей целью прогнозирования (NTP), что и стандартные трансформаторы. Это создает несоответствие: модели быстрого веса опираются на развивающееся состояние памяти для поддержки будущих прогнозов, в то время как NTP обеспечивает лишь символический контроль за следующим символом. Мы устраняем это несоответствие с прогнозом следующей последовательности (NSP) - расширением на уровне последовательности NTP, которое обучает модели производить последовательные многослойные продолжения из их постоянного состояния памяти. Для оптимизации этой последовательности мы предлагаем рефинанс (Reinual Fast WEGTs с помощью следующего прогноза). Рефинансирует информационное положение символа на основе предсказания энтропии, генерирует многовыбранное скачкообразие, присваивает последовательности рева