На пути к легкому обучению в Луне алгоритмы: новые результаты от AlgoPerf

arXiv: 2610.13036v1 Annuate Type: New Humber Abstract: Оценка углубленного оптимизации обучения является сложной задачей, поскольку такие смешающие факторы, как настройка гиперпараметров и компиляционное совместное проектирование моделей часто затушевывают реальные алгоритмические характеристики. Мы представляем результаты обновленного контрольного показателя AlgoPerf V1, в котором мы оцениваем новый набор учебных алгоритмов по времени между днями и целевыми показателями с учетом девяти нагрузок на стационарное оборудование. В настоящем докладе основное внимание уделяется результатам применения правил самоконструирования контрольного показателя, в соответствии с которыми представления должны осуществляться на основе единой конфигурации по всем объемам работы. Из 13 представлений в PyTorch и JAX, AdamW занял первое место. В дополнение к подсчетам в режиме настенных часов мы также анализируем компромиссы между эффективностью ступеней и исполнением в режиме дневного дежурства, выявляя при этом, что методы матричной предопределенности и двухворотной работы позволяют добиться высокой эффективности выборки, но требуют более энергичной оптимизации расчетов для обеспечения конкурентоспособности во время выполнения работ. И наконец, наш гиперпараметрный анализ сухости и удержания с