Параллелистическая стратегия ускоренного согласования учебных программ

arXiv: 2609.07236v1 Тип объявления: новое резюме: выбор стратегии параллелизма - конфигурация данных, тонор и баллов по трубопроводу в сочетании с размерами микро- и глобальной мыши - во многом определяет эффективность обучения моделей большого языка. Современные методы ведут поиск стратегии параллелизма в режиме офлайн и выбирают единую стратегию, которая сводит к минимуму время на выбор. Однако мы считаем, что они игнорируют целевые недочеты и гибкость по времени. В частности, наш анализ показывает, что наилучшая стратегия, дающая самые быстрые результаты в плане улучшения ситуации с заблуждением, изменяется несколько раз во время обучения. В результате самые современные методы в ТТП составляют 1,8-11.4x медленнее последовательности стратегии, которая выбирает наилучшую стратегию при каждой итерации. В настоящем документе предлагается КОНА - новый метод обучения, предусматривающий использование онлайновой стратегии сцепления. Вместо единой стратегии, выбранной в режиме офлайн, КОНА определяет стратегии для кандидатов во время обучения с использованием замещающей метрики, построенной на основе c)