Изучение с памятью, учись без нее: изучение in-context Exploration и самораспыление для рассудка LLM
arXiv: 261 010.17734v1 Аннонс Тип: перекрестное резюме: эффективность изучения границ в плане укрепления обучения с поддающимися проверке наградами (RLVR). Нынешние методы в основном разрабатываются на основе независимых выборочных данных без полного использования информации, собранной по ходу работы, например известных неправильных ответов и экологических отзывов. Мы предлагаем LEAF, который вводит динамичную и конкретную по проблеме память в контекст перед каждым запуском. Память содержит самый последний ответ, его награду и другие экологические отзывы. Он обновляется после каждого звонка проверяющего. Мы отстраняем обновленную информацию о политике от внедрения и обновляем ее путем самоперегонки. По четырем контрольным параметрам и двум открытым моделям ЛЕАФ ускоряет разведку примерно на 4x по сравнению с исходными данными случайной выборки. На невиданных испытательных наборах она повышает точность по сравнению с самыми сильными исходными значениями на 1,59 и 1,83 процентных пункта для двух моделей при использовании меньшего количества вычислений, чем любой из исходных значений RL. Эти результаты свидетельствуют о потенциале ЛЕАФ в деле совершенствования