Спарсе Внимание это матричная аппроксимация, а не выбор из пакета ценностей

Компьютерные науки > Вычисления и язык [представлен 7 октября 2026 года] Название: Sparse Внимание - матричная аппроксимация, не выбираемая из мешка значения HTML-вида PDF (экспериментальный) резюме: Большие языковые модели (LMS) достигают высоких показателей во многих областях, но их эффективность ограничивается квадратной стоимостью внимания к скоростному протяжению. Уделение внимания снижению этих расходов за счет сохранения лишь небольшой части взаимодействия вопросов и ключей для приближения полной матрицы. Однако существующие методы запутаны в математически неверном виде: они просто хранят крупные скалярные записи или области большого количества информации в матрице внимания. Это рассматривает матрицу внимания как пакет значений, игнорируя то, что она используется в качестве структурированной матрицы, чьи записи совместно определяют выход внимания посредством умножения с векторами значения. Мы утверждаем, что это ключевой концептуальный вопрос: недостаточное внимание следует сформулировать как матричное приближение, а не слепо выбирая самые большие значения из пакета записей. Исходя из этой точки зрения, мы предлагаем матричную аппроксимацию "Спарсе Внимание" (МАСА). MASA заменяет градиент первичных данных о массе внимания на балл закрытой формы, который измеряет степень уменьшения каждой малой единицы погрешности в матричной приближении продукта. В качестве теоретической поправки на включение MASA можно добавить к существующим системам с низким вниманием без изменения…