Асимптотическая теория цепной связи в процессе обучения in-context

arXiv: 2606.03217v2 Annualce Type: заменить резюме: аргументация в отношении цепочки мышления (Cot) стала широко используемым механизмом для получения многоэтапных рассуждений при крупных языковых моделях путем создания промежуточных этапов обоснования в момент вывода. Тем не менее, масштабное поведение обобщения с глубиной КТ остается недостаточно понятным. Для решения этого вопроса мы изучаем теоретическую модель coT для прогнозирования внутреннего веса в линейной регрессии, где аргументация испытательного времени представлена как итеративное уточнение оценки массы-параметра. Используя инструменты из случайной матричной теории при высокомерной асимптотике, мы вычисляем точную формулу для ошибки обобщения в зависимости от глубины рассуждений, количества предварительных данных и длины контекста. Наш анализ показывает резкий этап перехода, разделяющий экспоненциальное и полиномическое улучшение, насыщение и переосмысление, а также характеризует оптимальный масштаб глубины рассуждений. Мы также показываем, что более глубокие рассуждения - это больше всего эфф