Эффективная оптимизация политики на уровне токена для моделей маскировки диффузии с помощью синхронизации скорости

arXiv: 2603.01563v3 Тип уведомления: заменить перекрестное резюме: усиление обучения с поддающимися проверке ревардами (RLVR) успешно приводит в соответствие авторегрессивные модели в жестких областях, таких как математические рассуждения и кодирование. Однако применение RLVR к диффузиону Больших Лингвистических моделей (DLMS) затрудняется неразрешимыми вероятностью последовательности, что вынуждает существующие методы полагаться на неустойчивые и высокоизмененные приближения. Мы предлагаем оптимизацию политики " Последовательность - без изменений &qt; , которая является эффективной основой для обхода этого узкого места путем разработки политики согласования в качестве дискретной скорости. Вдохновляемый постоянным согласованием потоков, LFPO избегает оценки траектории и непосредственно оптимистично денонсирует логины с помощью контрастного обновления уровня символов, обеспечивая стабильную суррогатную систему с низким уклоном. Кроме того, прогнозирование окончательных решений в промежуточных штатах косвенно ведет к выравниванию траектории поколения и позволяет производить высококачественный отбор проб при значительно меньшем количестве денонсирующих итераций.