Компьютерные науки > Машинное обучение [представлено 16 сентября 2026 года] Название: MORE: Смещение вновь используемых экспертов Вид PDF HTML (экспериментальное) Резюме: архитектура Mixture-Experts (МОС) отделяет возможности модели от вычислительной стоимости, но в то же время имеет высокие следы памяти по мере линейного роста параметров с числом экспертов. Периодические трансформаторы достигают эффективности параметров за счет повторного использования весов слоя, но обычно не имеют возможности для конкурентоспособного моделирования языка. Мы предлагаем смесь вновь используемых экспертов (МОРЕ) - гибрид, который разделяет экспертные пулы между группами смежных слоев. Каждый слой сохраняет свой собственный маршрутизатор, но выбирает из более крупного общего бассейна, расширяя разнообразие комбинаций маршрутов без дополнительных параметров. Для того чтобы совместно с экспертами можно было проводить различие между слоями, мы введем легковесные обретаемые глубины, которые будут влиять на вход каждого слоя до маршрута. Эксперименты по трем моделям (114M-1.15B параметров) показывают, что МОР последовательно добивается более низкой степени запутанности и более высокой производительности ниже по течению, чем стандартные МОС и современная архитектура распределения веса в совпадающих бюджетах расчетов и параметров при минимальных изменениях к существующим программам МОС. Загрузка ссылок и цитат... Библиографические и цитационно-инструментальные средства Библиографии (что такое…
МОРЕ: смесь вновь используемых экспертов
arXiv:2609.18176v1 Аннонс Тип: новое резюме: архитектура смеси экспертов (МОС) отделяет мощность модели от вычислительной стоимости, но в то же время имеет высокие следы памяти по мере линейного роста параметров с числом экспертов. Периодические трансформаторы достигают эффективности параметров за счет повторного использования весов слоя, но обычно не имеют возможности для конкурентоспособного моделирования языка. Мы предлагаем смесь вновь используемых экспертов (МОРЕ) - гибрид, который разделяет экспертные пулы между группами смежных слоев. Каждый слой сохраняет свой собственный маршрутизатор, но выбирает из более крупного общего бассейна, расширяя разнообразие комбинаций маршрутов без дополнительных параметров. Для того чтобы совместно с экспертами можно было проводить различие между слоями, мы введем легковесные обретаемые глубины, которые будут влиять на вход каждого слоя до маршрута. Эксперименты по трем моделям (114M-1.15B параметров) показывают, что МОЭ последовательно обеспечивает меньшую степень запутанности и более высокую производительность ниже по течению, чем стандартные МОС и современное распределение веса