Временная саморазборка: ускоренный исход в дискрецированных языковых моделях диффузии

arXiv:2609.151777v1 Annuate Type: New Habstractive: Difflusion Language Models (DLMS) обещают быстрый вывод, генерируя одновременно несколько символов, но сильно ухудшая производительность, когда параллельное декодирование происходит слишком агрессивно. Мы введем в действие метод временной самоперегонки (ТСР), который является простым методом проведения политики, тренирующим DLM для быстрого вывода путем разукрупнения прогнозов во времени. В частности, TSD дистиллирует распределение модели в более ранние сроки на пути к ее распределению на заключительном этапе, когда был совершен символ. Это поощряет более ранние прогнозы, чтобы лучше предвосхитить конечный результат модели, что позволит значительно более агрессивно осуществлять параллельное декодирование. Поскольку учительский сигнал исходит от самой модели, ОБД не требует офлайнового поколения учителей и бесперебойно применяется как к базовой, так и послеподготовленной политике. С учетом семи контрольных показателей в математике, планировании и коде БДСР существенно переключает скорость - качество границы на низкоэффективный режим. Таким образом, ОСБ