Статистика > Машинное обучение [представлено 7 октября 2026 года] Название: Чему линейное внимание может научиться у нелинейных учителей в контексте? Вид PDF HTML (экспериментальное) Резюме: Уделение особого внимания - это отталкивающая модель для понимания механизмов, регулирующих обучение в рамках контекста трансформатора. Что касается задач линейной регрессии, то последние асимптотические анализы характеризуют ее поведение в плане обучения и обобщения. Мы распространяем эту теорию на нелинейные одноиндексные мишени, $y=f(x___top w)+\varepsilon$. Наш главный результат устанавливает эквивалент нелинейного шума: линейное внимание извлекает только линейный компонент Хермита в размере $2, тогда как оставшаяся нелинийная структура способствует общей ошибке, поскольку она является эффективным шумом. Это сокращение позволяет перенести результаты соответствующей линейной теории на нелинейные задачи. Мы иллюстрируем его последствия для конечных данных, полученных до подготовки кадров, а также для перехода от запоминания задач к обобщению задач по мере увеличения разнообразия задач. Эти результаты указывают на ограничение модели с пониженным линейным уклоном и обеспечивают вращающуюся отправную точку для изучения нелинейного обучения в рамках контекста. Текущий контекст просмотра: stat.ML ссылки и цитаты Загрузка... Библиографический и цитационно-инструментальный библиолог (Что является Исследовательом?) Подключённые документы (что такое подсоединенные бумаги?) Litmaps (Литмпапс?)…
Чему может научиться линейное внимание от нелинейных учителей в контексте?
arXiv: 2610.10.10761v1 Annuales Type: New Habstrate: Linear measure - это ориентированная модель понимания механизмов, регулирующих обучение в рамках трансформаторов. Что касается задач линейной регрессии, то последние асимптотические анализы характеризуют ее поведение в плане обучения и обобщения. Мы распространяем эту теорию на нелинейные одноиндексные мишени, $y=f(x___top w)+\varepsilon$. Наш главный результат устанавливает эквивалент нелинейного шума: линейное внимание извлекает только линейный компонент Хермита в размере $2, тогда как оставшаяся нелинийная структура способствует общей ошибке, поскольку она является эффективным шумом. Это сокращение позволяет перенести результаты соответствующей линейной теории на нелинейные задачи. Мы иллюстрируем его последствия для конечных данных, полученных до подготовки кадров, а также для перехода от запоминания задач к обобщению задач по мере увеличения разнообразия задач. Эти результаты указывают на ограничение модели с пониженным линейным уклоном и обеспечивают вращающуюся исходную точку для изучения нелинейного i