Статистические данные > Машинное обучение [представлено 16 октября 2026 года] Название: Mesodographic engine of metro-wide neural Networks View PDF HTML (экспериментальное) Резюме: Понимание того, как стохастический спуск изучает внутренние представления в широких нейронных сетях, обученных богатым целевым функциям, является центральной проблемой в машинном обучении. Мы изучаем этот вопрос в двухслойных нейронных сетях, обучающих целевые функции, представленные сетями одной и той же архитектуры с произвольно нелинейностью, а ширина сети и измерение входа увеличиваются пропорционально. В рамках этого режима стандартные подходы к описанию динамики обучения требуют отслеживания различного числа перекрывающихся элементов, которые измеряют корреляцию между извлеченными и целевыми элементами, не оставляя очевидного описания с точки зрения нескольких параметров порядка. Здесь мы разрабатываем мезоскопическое описание обучения путем описания распределения параллелизма. На ранних этапах обучения мы обнаруживаем, что Гауссианское описание статистики дублирования приводит к снижению динамики обучения до нескольких коллективных переменных, которые отслеживают изучение линейных и квадратических компонентов целевой функции. Затем мы оцениваем временные рамки специализации, когда Гауссианское закрытие ломается и отдельные особенности начинают сильно коррелировать с конкретными целевыми особенностями. Мы считаем, что специализация в сетях большого ранга ускоряется с помощью квадрического…
Динамика мезоскопического обучения обширных нейронных сетей
arXiv: 261 020.23779v 1 Annualce Type: новый резюме: Понимание того, как стохастический спуск учится внутреннему представительству в широких нейронных сетях, обученным богатым целевым функциям, является центральной проблемой машинного обучения. Мы изучаем этот вопрос в двухслойных нейронных сетях, обучающих целевые функции, представленные сетями одной и той же архитектуры с произвольно нелинейностью, а ширина сети и измерение входа увеличиваются пропорционально. В рамках этого режима стандартные подходы к описанию динамики обучения требуют отслеживания различного числа перекрывающихся элементов, которые измеряют корреляцию между извлеченными и целевыми элементами, не оставляя очевидного описания с точки зрения нескольких параметров порядка. Здесь мы разрабатываем мезоскопическое описание обучения путем описания распределения параллелизма. На ранних этапах обучения мы обнаруживаем, что гауссийское описание статистики параллелизма приводит к снижению динамики обучения до нескольких коллективных переменных, которые отслеживают изучение целевой функции.