Модифицирующиеся языковые модели без маркировки: выбор движущего фактора большинства, модификация поощряет изменения

arXiv: 25009.15194v4 Annuate Type: заменить перекрестное резюме: Большие языковые модели (LMM) могут улучшиться за счет усиления обучения поддающимися проверке наградами (RLVR), однако во многих настройках отсутствуют справочные ответы или внешние проверяющие. Вместо этого самосовершенствование без маркировки создает тренировочные сигналы из собственных материалов модели. Поскольку одна и та же политика генерирует как ответы кандидатов, так и полученные от них сигналы, каждое обновление также меняет кандидатуры для будущей подготовки, создавая самоподкрепляющийся цикл обратной связи. Мы идентифицируем режим отказа этого цикла, который мы называем коллапсом разнообразия в результате отбора: повторный самовыбор может постепенно сузить список кандидатов и сделать альтернативные правильные решения более сложными для выборки. Для решения этой проблемы мы предлагаем ЭВОЛ-РL, в котором обеспечивается баланс между выбором и изменением. Голосование большинства обеспечивает стабильный сигнал отбора, а внедрение новизны на основе новинок повышает кредитность среди ответов с одинаковым статусом отбора; энтропия регуляризати