Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: " О степени оптимизации прямых предпочтений: Диспропорция веса в режиме NTK View PDF HTML (экспериментальное) резюме: Оптимизация привязки (ОДП) была широко принята для согласования языковых моделей с человеческими предпочтениями. Недавняя эмпирическая работа показала, что ДПО вызывает чрезвычайно редкие обновления параметров, однако теоретических объяснений этому явлению представлено не было. Мы анализируем оптимизацию динамики DPO под нейронной тангенсической линейностью ядра и показываем, что логистическая структура потери DPО порождает имплицитное отклонение максимального диапазона. На основе этого наблюдения мы введем концепцию двойной спарстичности: направление обновления DPO представляет собой ограниченную линейную комбинацию (спорность уровня данных, обусловленную векторами поддержки) малозначительных градиентных векторов характеристик (скорость параметра, возникающая из-за отмены градиентов между предпочтительными и дисфункциональными ответными реакциями). Мы официально оформили эту структуру в нашей главной теории, связали число пар поддержки спектральным количеством с маржи и представили рамки, связанные с двойной тяжелостью для разукрупнения веса - условие благоприятное для слияния моделей. Эксперименты на модели GPT-2, малые и средние и 7-9B с ориентацией на инструкции (Llama-3-8B, Mistral-7B, Gemma2-9B) с антропическими наборами данных HH-RLHF и UltraFeedback подтверждают…
О кратности прямого преференции: диспропорция веса в режиме NTK
arXiv: 261 030,37085v 1 Annuales Type: New Habstrate: Direct Preferent Optimization (DPO) был широко принят для приведения языковых моделей в соответствие с человеческими предпочтениями. Недавняя эмпирическая работа показала, что ДПО вызывает чрезвычайно редкие обновления параметров, однако теоретических объяснений этому явлению представлено не было. Мы анализируем оптимизацию динамики DPO под нейронной тангенсической линейностью ядра и показываем, что логистическая структура потери DPО порождает имплицитное отклонение максимального диапазона. На основе этого наблюдения мы введем концепцию двойной спарстичности: направление обновления DPO представляет собой ограниченную линейную комбинацию (спорность уровня данных, обусловленную векторами поддержки) малозначительных градиентных векторов характеристик (скорость параметра, возникающая из-за отмены градиентов между предпочтительными и дисфункциональными ответными реакциями). Мы официально оформили эту структуру в нашей главной теории, связали количество пар поддержки спектральным количеством с маржи и представили рамки, связанные с двойной спарной способностью w