Недостатки в слиянии МОС не диагностируются
arXiv: 26009.32821v1 Annualce Type: New Habstract: Model Groupsing эффективно сочетает специализированные крупные языковые модели (LMS) без совместной переподготовки, но может существенно изменить маршрут работы экспертов в моделях Mixture of Experts (MOE). Такой "путевой дрейф" часто…