Вычислить-оптимальное предназначение - Fine-Tune в хребте

arXiv: 2609.16262v1 Annuation Type: New Humber Abstract: Предварительная подготовка с последующими уточнениями создает проблему вычислений: при фиксированном бюджете на профессиональную подготовку расчет расходов, потраченных на улучшение задачи вверху, сокращает расчет, который может быть использован для адаптации вниз по течению. Несмотря на его практическую важность, этот компромисс пока не вполне понятен теоретически даже в простых моделях. В этом документе мы поместили это распределение как проблему вычисления в двухэтапную процедуру предварительного обучения-улучшения с фиксированным полным бюджетом оптимизации, используя регуляризированные наименее квадраты, обученные градиентным спуском, в качестве управляемой установки. Мы характеризуем оптимальное разделение в зависимости от данных геометрии, вызванное проблемой уточнения. Наши результаты свидетельствуют о том, что распределение зависит от того, каким образом направление предварительной подготовки влияет на тонкие прогнозы и как изменения в направлении корректировки просматриваются с помощью геометрии данных ниже по течению. В частности, соответствующие количества определяются с помощью спектральных компонентов t, имеющих отношение к прогнозированию