UpLoop: Усовершенствование моделей большого языка с Gated Loop

arXiv: 2610.25004v1 Annuate Type: New Humber Abstract: Loped крупноязычные модели хранения торговых параметров для периодических вычислений, но большинство из них обучены с нуля. На практике предварительная подготовка с циклической глубиной является дорогостоящим делом, в результате чего после прохождения подготовки переработка предварительно подготовленного неподготовленного УЗМ становится привлекательной альтернативой. Мы введём текст, послеучебный рецепт, основанный на повторном повторении. Вместо того, чтобы петлить целую модель или средний блок, UpLoop вращает каждый выбранный слой локально, сохраняя предварительно обученную геометрию и избегая несоответствия функций и пространства. Для того чтобы сделать петлю полезной, мы добавляем скрытые врата на внимание и остаточные ветви MLP, так что позднее циклы действуют как прогрессивное уточнение, а не как ненужная перезапись. Эмпирически UpLoop нарушает обычно наблюдаемое насыщение на двух петлях ($R=2 долл.) в предыдущих вращающихся моделях. Начиная с базы Qwen3-4B и применяя SFT, UpLoop повышает среднюю точность по 20 контрольным параметрам на 6,17/% при $R=3. Мы используем $R=3 долларов как