Старпо: оптимизация политики укрепления стабильности

arXiv: 2604.08905v2 Annuales Type: заменить перекрестное резюме: Укрепление обучения (RL) является эффективным средством повышения точности крупных языковых моделей при выполнении сложных задач по обоснованию. Существующие системы оптимизации политики в области РЛ основываются на точности окончательных ответов как сигналах обратной связи и редко отражают внутреннюю логическую структуру процесса обоснования. Следовательно, эти модели могли бы генерировать свободно и семантически значимые ответные меры, но логически непоследовательные, структурно неустойчивые или излишние. С этой целью мы предлагаем Старпо, систему обучения в целях укрепления стабильности, которая прямо включает в себя обеспечение стабильности рассуждений в задачу оптимизации. Наш Старпо размещает стабильность в два расчетных легковесных метрика: функция Autocorrelation (ACF) для оценки последовательности действий на местном уровне, и программа " Путь к эффективности > (PE), предназначенная для оценки глобальной целевой направленности траектории рассуждений. Эти преимущества стабильности сочетаются с вознаграждением за выполнение задач в целях обеспечения взаимодополняемости и процесса