Сформулированная смесь экспертов: от геометрии экспертов до распределения слоем мощности
arXiv: 2610.14644v1 Аннонс Тип: новое резюме: модели мелкозернистых смесей экспертов (МОС) обычно увеличивают число экспертов, сужая круг каждого эксперта и рассматривая экспертную форму в качестве побочного продукта маршрутизации. LatentMoE переносит экспертные вычисления в нижний размер…