Одноэтапное текстовое поколение с помощью Seq-Drifting

arXiv: 261 010.12879v 1 Annuales Type: New Humber Abstract: Difflusion Language Models генерирует символы параллельно, но все же требует многомерных этапов выборки для получения высококачественного текста. В этом документе мы изучаем, может ли модель научиться создавать целую последовательность в одном переднем проходе. Мы предлагаем Seq-Drifting, систему, которая применяется к последовательности непрерывных символических представлений и непосредственно изучает карту от гауссианского шума до текста. В отличие от существующих DLM, которые получают контроль в каждой позиции непосредственно из наблюдаемого символа в последовательности тренировок, Seq-Drifing создает дрифтерное поле, целевые показатели которого адаптируются к текущему генерируемому контексту. На каждой позиции притягательность направляет каждый выход на набор контекстуально правдоподобных символических представлений, в то время как отталкивание препятствует коллапсации по образцам и повторению в рамках последовательностей. Генератор учится на этом дрифтерном поле во время тренировок и производит все символы вместе в одном пропуске. Эмпирически,