Оптимизация политики с учетом трудностей

arXiv: 2602.06375v2 Annuales Type: заменить резюме: последние достижения в крупных разумных моделях (LRM), примером которых является DeepSeek-R1, подчеркнули потенциал масштабирования результатов анализа времени на основе оптимизации политики групп (GRPO). Однако ГРП часто страдает от снижения градиента при возникновении проблем, которые являются либо слишком незначительными, либо чрезмерно сложными. В этих сценариях исчезновение межгрупповых преимуществ делает градиентный сигнал подверженным шуму, что ставит под угрозу стабильность конвергенции. Хотя такие варианты, как DAPO пытаются исправить градиентное исчезновение, они не уменьшают значительных расчетных накладных расходов в связи с полным распространением данных по образцам низкой производительности. В настоящем документе мы предлагаем разработать новую рамочную основу для оптимизации эффективности и надежности процесса согласования рассуждений. DEPO включает в себя онлайновую сложную оценку, которая позволяет проводить динамические оценки и фильтровать данные об обучении до