Ваша языковая модель тайная оптимизация преференции

arXiv: 2605.08037v2 Тип анонсации: заменить перекрестное резюме: Прямая оптимизация привилегий (ОДП) приводит в соответствие языковые модели с использованием парных сопоставлений предпочтений, предлагая простую и эффективную альтернативу усовершенствованию обучения (РЛ) на основе обратной связи человека. Вместе с тем во многих практических условиях данные о профессиональной подготовке включают в себя многократные развороты на одну быструю дату, что приводит к созданию богатой структуры преференций, которая не может использоваться попарно. Объединение таких данных в независимые пары приводит к отходу от транзитности, создает избыточное или противоречивое наблюдение и может привести к нестабильной оптимизации. Мы предлагаем оптимизацию прямого преференции (графифуг) — структурированную обобщенную систему ПДН, которая работает над графиками ациклических предпочтений, создаваемыми рейтингами развертывания. ГрафДПДО кодирует отношения доминирования как края и оптимизирует график, структурированный Plackett-Luce-инспирированная цель, которая агрегирует контроль над доминирующими районами, пропагандируя переходную структуру преференций вводимых ресурсов при восстановлении