ДПВ-МОС: система контроля за точностью вращения для целей МОС

arXiv: 261 020.21378v1 Annuales Type: New Humber: Mixture of Experts (MoE) Models сокращает расчетные значения путем передачи каждого символа небольшому набору экспертов, однако каждый отобранный эксперт по-прежнему используется с фиксированной точностью. Мы представляем ДПВ-Моэ, систему контроля точности рабочего времени, которая делает маршрутизированных экспертов какой-либо точной. ДПВ-Моэ кодирует в качестве префиксных кусочков, используя Share AnyBCQ, остатки на каждом эксперте по реконструкции офлайн и распределяет кусочки во время вывода с помощью прямых роутеров. Такое распределение средств после маршрута позволяет единому закодированному контрольно-пропускному пункту МОС функционировать при многочисленных эффективных весовых балансах без переподготовки или перекодирования. Эксперименты на Qwen3-30B-A3B и DeepSeekMoE-16B показывают, что ДПВ-Мо повышает KL разность и точность внизу по сравнению с единообразным распределением кусков при совмещенных бюджетах, со скромным устойчивым уровнем пропускной способности в нашем прототипе.