Траектория с конструкцией Bellman-Continent RL для арифметического обоснования LLM

arXiv: 261/0.20.21060v1 Annuales Type: кросс-бюллетень: Для решения вопроса о небольших наградах при арифметическом обосновании LLM мы предлагаем метод RL, основанный на траектории Белльмана. Наша рамочная программа вводит остаточное сокращение выбросов (TBRM) для преобразования небольших вознаграждений в густые сигналы уровня символов. Мы интегрируем стратегию группы "Усилить один выход" (RLOO) в целях сокращения отклонений от градиентных остатков Bellman и используем перемаркировку целей заднего обзора для ускорения промежуточного обучения. Оценивая задачу по отсчету, наш метод смягчает проблемы оптимизации и стабилизирует градиентную дисперсию значительно лучше, чем ГРП. Система TBRM-RLOO повышает Pass@1 до 0,55-0,64 и достигает уровня точности в виде современного пропуска " 16: 76,0-84,0/%, превысив исходное значение SFT, IPO/DPO и RLO. Наш подход демонстрирует исключительную эффективность одного образца и успешно обходит стандартный плато эффективности за счет масштабирования испытательного времени.