Компьютерные науки > Машинное обучение [представлено 19 октября 2026 года] Название: "Элементальная ОДЕ", описывающая поведение мелкого MLP на простых функциях View PDF HTML (экспериментальное) Резюме: Мы изучаем динамику градиентного потока тренировки двухслойных многоуровневых перцептронов (MLPs) на анизотропических гаусских данных. Даже в этом простом окружении, решение динамики полностью трудное дело, поэтому мы пытаемся сделать что-то другое. Мы предлагаем "характерный ОДЕ", который можно было бы интуитивно ожидать, описывая динамику обучения мелкого МЛП. Мы видим, что MLPs обученные изучать простые целевые функции (нижние порядковые и лестничные функции) на самом деле примерно следуют траекториям потери из этой функции ODE. Это соглашение вызывает удивление в связи с масштабами упрощения и тем фактом, что оно не является результатом жесткой цепочки приближений. Мы обсуждаем этот сюрприз и думаем о его причинах и применении. Дополнительные ссылки и цитаты... Библиографические и цитационно-инструментальные средства Библиографии (что такое Исследователь?) Подключенные документы (Что такое подсоединенные бумаги?) Litmaps (Литмпапс?) Skite Smart Citations (Какой умный клиент?), код, данные и СМИ связаны с этой статьей альфаXiv (Альфоксив?) Катализированные коды для документов (Кто является каталитическим устройством?) DagsHub (Чего представляет собой Dagshoub?) Gotit.pub(Что есть ГотитПуб?) Hugging Face (какая же угробная фигура?) Научный центр (Чем является научное…
"Элементный ОДЕ", описывающий поведение неглубоких MLP на простых функциях.
arXiv: 2610.25652v1 Аннонс Тип: новое резюме: мы изучаем динамику обучения двухслойным многослоевым перцептронам (МЛП) на анизотропных гаусских данных. Даже в этом простом окружении, решение динамики полностью трудное дело, поэтому мы пытаемся сделать что-то другое. Мы предлагаем "характерный ОДЕ", который можно было бы интуитивно ожидать, описывая динамику обучения мелкого МЛП. Мы видим, что MLPs обученные изучать простые целевые функции (нижние порядковые и лестничные функции) на самом деле примерно следуют траекториям потери из этой функции ODE. Это соглашение вызывает удивление в связи с масштабами упрощения и тем фактом, что оно не является результатом жесткой цепочки приближений. Мы обсуждаем этот сюрприз и думаем о его причинах и применении.