Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Self-Regularized Flow Language Models View PDF HTML (экспериментальное) Резюме: Мы представляем SERF (саморегулируемые языковые модели потока), простую самоконтроляющуюся систему для совершенствования моделей непрерывного распространения языка путем использования самой траектории денозиации. В то время как постоянные языковые модели, основанные на потоках, являются перспективной альтернативой авторегрессивному производству, их цели в области подготовки обычно зависят от контроля за чистыми мишенями, оставляя денонсирующую траекторию недостаточно используемой в качестве учебного сигнала. СЕРРФ решает эту проблему путем шумной самоперегонки: учитель, движущийся в экспоненциальной прогрессирующей средней степени (ЕМА), получает более чистую версию звукового вклада учащихся по той же линии интерполяции и обеспечивает дополнительный надзор. Мы расследуем два варианта: SERF-L, который увязывает промежуточные представления учащихся с более глубокими представлениями учителей, и SERF-P, которые гармонизируют их выпускные символы либо на выходе студента, либо на раннем уровне. Все варианты дополняют стандартную цель подготовки без необходимости использования внешних заранее подготовленных моделей или изменения процедуры вывода. Эксперименты в рамках трех моделей непрерывной языковой модели (одного горячего FLM, латентного ELF и гиперсферального S-FLM) демонстрируют существенное повышение эффективности…
Саморегулируемые модели языка потоков
arXiv:2610.37115v1 Annualce Type: New Humber Brieft: Мы представляем SERF (Саморегулируемые языковые модели), простую самоконтролируемую систему для совершенствования моделей языка непрерывного распространения за счет использования самой траектории денонсации. В то время как постоянные языковые модели, основанные на потоках, являются перспективной альтернативой авторегрессивному производству, их цели в области подготовки обычно зависят от контроля за чистыми мишенями, оставляя денонсирующую траекторию недостаточно используемой в качестве учебного сигнала. СЕРРФ решает эту проблему путем шумной самоперегонки: учитель, движущийся в экспоненциальной прогрессирующей средней степени (ЕМА), получает более чистую версию звукового вклада учащихся по той же линии интерполяции и обеспечивает дополнительный надзор. Мы расследуем два варианта: SERF-L, который увязывает промежуточные представления учащихся с более глубокими представлениями учителей, и SERF-P, которые гармонизируют их выпускные символы либо на выходе студента, либо на раннем уровне. Все варианцы