Компас-v3: Расширение сферы применения МП для многоязычной электронной торговли в Юго-Восточной Азии

arXiv:2509.09121v2 Annuales Type: заменить резюме: Большие языковые модели (LMS) отличны в общедоменных приложениях, однако их эффективность зачастую ухудшается при выполнении специализированных задач, требующих знаний по конкретным областям. Электронная торговля является особенно сложной задачей, поскольку ее данные являются шумными, разнородными, многоязычными и весьма динамичными. Мы представляем модель Compass-v3, вертикально-доменная смесь экспертов (MoE) с 245В общими параметрами и 71B активным на символ, предназначенную для электронной торговли в Юго-Восточной Азии. Компас-v3 принимает меньше, но более крупных экспертов в сочетании с автоматизированной эффективной оптимизацией - например, внутритональный экспертный параллелизм и индивидуализированный мемкопиационный оператор для максимального использования GPU. Эта модель обучена 12Т символам кухонной многоязычной корпорации и крупномасштабным синтетическим инструкциям по электронной торговле с использованием смешанной стратегии подготовки кадров. В целях повышения степени согласованности мы предлагаем оптимизацию прямых преференций (ОТПО) оптимального транспортного режима, в котором учитываются различия уровня символов и обеспечивается более четкое соблюдение инструкций.