Модели языка копирования-пассажира

arXiv: 2610.192474v1 Annuate Type: New Brieflow: Трансформеры интуитивно считаются эффективными в копировании из своих материалов. Мы фактически показываем, что способность МЛМ копировать в контексте может быть улучшена путем явного моделирования. Мы предлагаем модели языка копирования-паста (CPLM), которые добавляют лёгкую головку макета-копировального паста к обычной языковой модели головы. КПУЗ повышают эффективность подготовки кадров, эффективность работы на низовом уровне и предлагают новые оперативные пункты в длительном контексте и системах поиска. Мы подтверждаем наш подход с помощью моделей предварительной подготовки, предусматривающих использование параметров от 135 М до 1,7В и показывающих улучшения во всех масштабах и на костях при незначительной подготовке кадров и предполагающих накладные расходы. Мы объясняем успех CPLM, показав им, что они частично смягчают узкий угол поворота головы LM через альтернативный путь.