Улучшает график подготовки для выполнения сложных задач в глубоководных линейных сетях

arXiv: 261 0355514v1 Аннот. Новое резюме: Законы о невральном масштабировании отражают предсказуемую зависимость эффективности модели от времени обучения, размера набора данных и масштабов моделей с количественными показателями изменений в деятельности при использовании ресурсов. Недавняя теория показала, как распределение данных и структура задачи обучения формируют эффект масштаба, однако вопрос о том, может ли глубина сети улучшить масштабы учебной подготовки, остается нерешенным. С помощью усовершенствованного анализа глубоких линейных сетей мы поясняем, что целевой спектр определяет, когда увеличение глубины сети улучшает масштабы учебной подготовки. Для выполнения спектрально сложных задач повышение глубины улучшает асимптотическое увеличение времени обучения, в то время как для простых задач исполнитель остается независимым от глубины, причем глубина влияет только на логарифмическую корректировку границы между этими режимами. Удивительно, но мы видим, что репараметризация времени, регулируемая нормой прогнозирования, дает единое описание