Компьютерная наука > Машинное обучение [представлено 1 июня 2025 года (v1), последний раз пересмотрен 27 октября 2026 года (эта версия, v3)] Название: Doubly RoustReconcerning for Major Language Models View PDF HTML (экспериментальное) Резюме: Настоящий документ изучает дополнительные уроки из обратной связи человека (RLHF), с тем чтобы привести крупные языковые модели в соответствие с человеческими предпочтениями. Хотя РЛХФ продемонстрировал многообещающие результаты, многие алгоритмы весьма чувствительны к неточностям в базовой модели преференций (например, модель Брэдли-Терри), эталонной политике или функции вознаграждения, что приводит к нежелательной доработке. Для решения проблемы неправильной спецификации модели мы предлагаем двуединый надежный алгоритм оптимизации преференций, который остается последовательным в тех случаях, когда правильно указывается либо модель преференций, либо политика использования справочных данных (без требования и того, и другого). Наше предложение демонстрирует более высокие и надежные показатели, чем современные алгоритмы как в теории, так и на практике. Код доступен на сайте https URL Data listory: Erhan Sui [видение электронной почты] [v1] Sun, 1 Jun 2025 21:34:37 UTC (973 KB) [ v2] Tue, 28 October 2020:58:26 UTS (1 018 KB)] [v3] Tue, 27 октября 2026 08:23:56 UTK (1 003 Kb) Дополнительные параметры текущего просмотра: cs. LG Reference & Citations Загрузка... Библиографические и цитационно-инструментальные средства Библиографии (что такое…
Сомнительная гармонизация моделей большого языка
arXiv:2506.01183v3 Annuales Type: заменить кросс-бюллетени: Настоящий документ содержит исследования по укреплению знаний, полученных с помощью обратной связи человека (RLHF), для согласования моделей крупных языков с человеческими предпочтениями. Хотя РЛХФ продемонстрировал многообещающие результаты, многие алгоритмы весьма чувствительны к неточностям в базовой модели преференций (например, модель Брэдли-Терри), эталонной политике или функции вознаграждения, что приводит к нежелательной доработке. Для решения проблемы неправильной спецификации модели мы предлагаем двуединый надежный алгоритм оптимизации преференций, который остается последовательным в тех случаях, когда правильно указывается либо модель преференций, либо политика использования справочных данных (без требования и того, и другого). Наше предложение демонстрирует более высокие и надежные показатели, чем современные алгоритмы как в теории, так и на практике. С кодом можно ознакомиться по адресу https://github.com/DRPO4LM/DPRo4LW