Компьютерные науки > Машинное обучение [представлено 7 октября 2026 года] Название: Учить бесконечные окна контекстов в повторяющихся архитектурах с помощью пространственной нейронной вычислительной системы Вид HTML (экспериментальный) Резюме: Регенерационные нервные сети (RNNs) предлагают линейное масштабирование времени с длиной последовательности, но при этом требуется только постоянная память, однако они борются за улавливание зависимости на большие расстояния из-за исчезновения градиентов и ограниченных восприимчивых полях. Для устранения этих ограничений мы введем повторяющуюся модель второго порядка, при которой стандартная нейронно-невронная связь заменяется пространственно развивающимся полем с помощью (дискретных) частичных дифференциальных уравнений. Этот механизм, основанный на роли кортикальных волн в вычислении мозга, позволяет структурно структурированным перепончатым структурам служить имплицитной и высокой пропускной способностью памяти. Мы показываем, что результирующая модель эквивалентна структурированному бесконечному порядку RNN, в котором нынешнее состояние прямо зависит от всей истории прошлых государств и дает фактически неограниченное восприимчивое поле с фиксированным числом параметров. Мы далее выстраиваем конструктивные условия для обеспечения минимальной стабильности, сужения градиента в единичном круге и устранения тем самым исчезающих и взрывающихся градиентов. С практической точки зрения предлагаемая архитектура опережает другие повторяющиеся…
Изучение бесконечных контекстных окон в повторяющихся архитектурах с помощью пространственной нейронной обработки
arXiv: 2610.10.0690v1 Annualce Type: cross Abstract: Периодические нейронные сети (RNNs) предлагают линейно-временную масштабацию с длиной последовательности, требуя при этом только постоянной памяти, но они борются за улавливание зависимости на большие расстояния изза исчезновения уклонов и ограниченных восприимчивых полях. Для устранения этих ограничений мы введем повторяющуюся модель второго порядка, при которой стандартная нейронно-невронная связь заменяется пространственно развивающимся полем с помощью (дискретных) частичных дифференциальных уравнений. Этот механизм, основанный на роли кортикальных волн в вычислении мозга, позволяет структурно структурированным перепончатым структурам служить имплицитной и высокой пропускной способностью памяти. Мы показываем, что результирующая модель эквивалентна структурированному бесконечному порядку RNN, в котором нынешнее состояние прямо зависит от всей истории прошлых государств и дает фактически неограниченное восприимчивое поле с фиксированным числом параметров. Мы также выясняем конструктивные условия для обеспечения маргинальных стаби