Сильнее, не слишком далеко: преимущества и пределы сложного прогресса в учебной программе в ГИПС

arXiv: 261 010.13669v1 Вид уведомления: новая резюме: обучение по учебной программе обычно организует учебные образцы от легкого до жесткого. В ГППО среднесложные выборки являются привлекательными для онлайнового отбора, поскольку они чаще дают информативные сигналы о групповом обучении и приоритизация их может повысить эффективность подготовки кадров. Вместе с тем остается неясным, приводит ли постоянный отбор таких образцов также к достижению наиболее высоких конечных результатов в модели или же обучение может выиграть от перехода на более сложные образцы. Тем временем по мере развития политики изменяются выборочные трудности, и поэтому оценки постоянных трудностей могут не соответствовать нынешней политике. Поэтому мы вновь оцениваем трудности с выборкой в рамках нынешней политики и, руководствуясь простым для всех принципом обучения по программе, разрабатываем и оцениваем поэтапно разработанную учебную программу, которая постепенно переключит диапазон активных трудностей на более сложные выборки. Эксперименты на GSM8K показывают, что стойкая средняя сложность отбора не является ак