Компьютерные науки > Машинное обучение [представлено 29 января 2026 года (v1), последнее пересмотренное резюме: Mixture- of Experts (MoE) Neural Networks путем условного активации небольшой подгруппы экспертов, где маршрутизатор играет центральную роль в определении специализации и общей эффективности моделей. Однако многие современные системы МОС по-прежнему используют линейные маршрутизаторы в первичных высокомерных представительских пространствах, где несоответствие представленности, угловая концентрация и чувствительный к масштабу балл могут совместно подорвать дисперсию маршрутов и стабильную специализацию экспертов. В этой работе мы предлагаем управляемый & Lipschitz Routing (L2R), унифицированную систему маршрутизации, которая изменяет как маршрутное пространство, так и геометрию баллов. L2R выполняет задание экспертов в общем низкочастотном латентном пространстве для движения по маршруту и вводит Sanerated Indust Products Scoring (SIPS) с целью четкого контроля за поведением Липшица функции трассы, обеспечивая более гладкую и стабильную геометрию маршрута. Кроме того, L2R включает в себя эффективный по параметру многоякорный механизм трассирования для повышения экспертной экспрессивности. Эксперименты на основе модели языка ОЛМОС и установки VIT ImageNet свидетельствуют о повышении общей эффективности в обоих областях; диагностика ОЛМОЭ также свидетельствует об улучшении геометрии маршрутов и дискриминации экспертов. История представления с: Guang Li [видеть email]…
L2R: Низкоскорлупная и липишская обруча для смеси экспертов
arXiv: 2601.21349v3 Тип уведомления: заменить резюме: " Mixture of Experts (MoE) systems metrolements neural Networks &q быстрой активацией небольшой подгруппы экспертов, где роутер играет центральную роль в определении специализации специалистов и общей эффективности модели. Однако многие современные системы МОС по-прежнему используют линейные маршрутизаторы в первичных высокомерных представительских пространствах, где несоответствие представленности, угловая концентрация и чувствительный к масштабу балл могут совместно подорвать дисперсию маршрутов и стабильную специализацию экспертов. В этой работе мы предлагаем управляемый & Lipschitz Routing (L2R), унифицированную систему маршрутизации, которая изменяет как маршрутное пространство, так и геометрию баллов. L2R выполняет задание экспертов в общем низкочастотном латентном пространстве для движения по маршруту и вводит Sanerated Indust Products Scoring (SIPS) с целью четкого контроля за поведением Липшица функции трассы, обеспечивая более гладкую и стабильную геометрию маршрута. Кроме того, L2R включает в себя параметроэффективный много-
