СИД: совершенствование моделей языка диффузии в масках путем редактирования

arXiv:2610.23122v1 Annualce Type: New Humber Brieflow: Difslusion крупноязычные модели (dLM) стали многообещающей альтернативой авторегрессивным языковым моделям, что позволяет неавто-ауторежессивному текстовому генерированию путем параллельного декодирования. В этой работе теоретически мы показываем, что МДМ легче оптимизировать из-за графика перехода на маски, но с меньшей экспрессивностью вычислений, в то время как УДМ позволяют проводить итеративный пересмотр состояния и более высокую экспонентность, однако значительно труднее тренироваться. Этот компромисс поднимает естественный вопрос: можем ли мы добиться экспрессивности итеративного пересмотра, не отказываясь от простого, легко оптимизированного графика перехода МДМ? Исходя из результатов этого анализа, мы предлагаем редактировать Speakahead (\ours {}), что увеличивает рассеяние в маске с помощью декодирования с перезаписываемым состоянием предложения. На каждом этапе декодирования модель выполняет несколько задач