Fed-GRPO: Оптимизация относительной политики Федеративной группы с целью получения вознаграждения

arXiv: 261.10.11502v1 Тип уведомления: новое резюме: Большие языковые модели (LMS) продемонстрировали мощную мотивационную способность, когда они были усовершенствованы с помощью усиленного обучения (RL), в частности посредством оптимизации политики групп (GRPO). Вместе с тем существующие методы РМП предполагают централизованный доступ к данным о профессиональной подготовке, который на практике может не сохраняться из-за ограничений в области частной жизни или регулирования. С этой целью мы предлагаем ФРС-ГРПО - федеративную систему подготовки ГПП, которая устраняет эти ограничения конфиденциальности путем организации совместного обучения по вопросам рассуждений без обмена необработанными данными, что позволяет использовать статистические данные о вознаграждении, полученные естественным образом в ходе профессиональной подготовки ГИПС, как сигналы нулевой стоимости для руководства агрегированием, местной подготовкой и коммуникацией. Fed-GRO содержит три механизма, определяемых с помощью наградного сигнала: i) mphh {суммарное агрегирование}, которое взвешивает клиентов по их стандартному отклонению от вознаграждения при определении приоритетности клиентов с более сильными сигналами обучения; ii) mophh {глобальная калибровка вознаграждения}, которые перевесят в расчете на одну незапланированную цель