Компьютерная наука > Расчет и язык [представлен 14 сентября 2026 года] Название: Regist Tokens for Broad-State Rissuing in Diflution Language Models View PDF HTML (экспериментальное) Резюме: Masked Displacediation langual Modoles (dLMS) генерируют текст путем итеративного размытия замаскированных символов с двунаправленным вниманием. Для расширения рассуждений между поколениями, как правило, требуется сохранение ранее подготовленного текста в контексте. Мы задаемся вопросом, может ли ДЛМ вместо этого продолжить аргументацию после того, как этот текст будет очищен, используя только переносимое состояние фиксированного размера. Мы внедряем это состояние как небольшое количество символов регистрации: специальные стационарные символы, в которых постоянно скрытые штаты обучены тому, чтобы вести рассуждения о прогрессе между поколениями кусков. Мы заставим DLMS расшифровать кусок текста, очистить его при сохранении регистровых значений и продолжить декодирование от быстрого и переносного состояния. В наших основных сопоставлениях с LLADA и Dream регистрирует превосходство дискретного текста на каждом контрольном параметре, при этом выигрыш составляет до 8,5 баллов по математике и 19,5 очков по коду. Регистры особенно эффективны для ограниченного поколения кодов, где правильные программы обычно охватывают несколько кусков. И наконец, регистры могут быть дополнительно усовершенствованы с помощью дополнительного обучения по вопросам долготерпимых рассуждений. Загрузка ссылок и…
Регистровые токены для ограниченного государства в дисфункциональных языковых моделях
arXiv: 2609.16372v1 Annuate Type: New Habrial: Masked Displacement Language Models (dLMS) генерирует текст путем итеративного денонсирования замаскированных символов с двунаправленным вниманием. Для расширения рассуждений между поколениями, как правило, требуется сохранение ранее подготовленного текста в контексте. Мы задаемся вопросом, может ли ДЛМ вместо этого продолжить аргументацию после того, как этот текст будет очищен, используя только переносимое состояние фиксированного размера. Мы внедряем это состояние как небольшое количество символов регистрации: специальные стационарные символы, в которых постоянно скрытые штаты обучены тому, чтобы вести рассуждения о прогрессе между поколениями кусков. Мы заставим DLMS расшифровать кусок текста, очистить его при сохранении регистровых значений и продолжить декодирование от быстрого и переносного состояния. В наших основных сопоставлениях с LLADA и Dream регистрирует превосходство дискретного текста на каждом контрольном параметре, при этом выигрыш составляет до 8,5 баллов по математике и 19,5 очков по коду. Регистры особенно эффективны для ограниченного поколения кодов, где правильные программы usua