КАСТ: Спектральное сканирование истории для предварительного обучения LLM
arXiv:2610.19761v1 Аннонс Тип: новое резюме: Мягкое спектральное вырезка (SSC) уменьшает синглы градиента, но его влияние зависит от шкалы градиентов и порогового значения вырезания. Мы представляем CAST (Clipping with Aдаптивная шкала и пороговые значения) - исторически адаптированное расширение СЮЮ. Предыдущая вторая минута АдамВ устанавливает ряды и столбцы. Порог каждой матрицы определяется экспоненциально движущимся средним показателем расчетной спектральной нормы вывода. КАСТ восстанавливает первоначальные координаты до обновления системы. Мы обучаем модель смеси экспертов (МОС) с 19,08B общими параметрами для 83,89В символов. КАСТ обеспечивает более низкую профессиональную подготовку и ведет к потерям в результате подтверждения достоверности по сравнению с девятью базовыми уровнями градиентной обработки, причем наиболее редкие относительные резкие колебания. Он достигает конечных сглаживаемых потерь в ходе обучения на 7,2% меньшего числа этапов.