Рождение, смерть и дифф: поколение последовательности на основе вставки с исправительными учреждениями

arXiv:2610.34310v1 Тип уведомления: кросс-бюллетень: модели рассеивания в масках, основанные на вовключении, позволяют гибкой длины и параллельного поколения путем интерфлексации маски с размаскированным символом. Однако, поскольку решения их поколения являются необратимыми, агрессивное параллельное декодирование может привести к ошибкам, которые последующие шаги не могут исправить, что требует консервативного дешифрования с помощью большего числа пропусков вперед (NFE). Кроме того, они демонстрируют более высокую энтропию по сравнению со стандартными МДМ, поскольку во время обучения они отодвигаются на второй план и поэтому требуют еще более консервативного декодирования в отсутствие корректировочного механизма. Для устранения этого ограничения мы введем $$(delta}MDM, что делает промежуточные поколения по-новому оцененными путем оснащения модели на основе ввода с помощью операций по замене и удалению. Во время тренировок мы подвергаем модель ошибкам, вызванным агрессивным разоблачением и введением в жизнь, научая ее исправлять свои собственные ошибки. На момент вывода мы включим и разоблачим