Дюорат: двухсортное распределение точности для каждого опытного человека для смеси экспертов, обслуживающих

arXiv: 2610.13328v1 Аннонс Тип: новое резюме: Подача модели смеси экспертов (МОС) дважды оплачивается за точность экспертизы: отпечаток ординатуры платит каждому эксперту, которого может достичь маршрутизатор, в то время как каждый шаг по декодированию партии оплачивает только выбранных им специалистов. Это две разные функции по скорости в пределах одной и той же ширины для каждого эксперта, однако опубликование информации о каждой экспертной распределительной службе ограничивается лишь первой. Мы называем разницу между проемом в складе; на открывшемся контрольно-пропускном пункте BitsMoE 2,54 бита за вес (bpw) хранилища становятся 7,50 млрд. баррелей декодированного трафика. Мы предлагаем ДюоРат, который хранит раз и читает по объему работы. В ней хранится один однородный ярус потока префиксового веса и испечется деформирующий тенсор. В интернете он профилирует предварительное заполнение рабочей нагрузки без ярлыков и решает вопрос о разделении Lagrangian randrange-discription под декодированием функции; маршрутизация частоты явно отменяется из каждого решения эксперта, а решение стоит по одной точке на одного эксперта и бисекцию. Размещение