Пересчет с вниманием и слоем Norm: Геометрия чёткости и представительства Норм

arXiv: 2610.16653v1 Аннонс Тип: новое резюме. Пересчет - это простая задача, в которой трансформаторы могут все же потерпеть неудачу при длинных последовательностях. Мы изучаем стоимость подсчета в одном слое внимания, но не более чем на один доллар США, уделяя особое внимание тому, как мягкий макс. внимание и нормализация слоя формируют представление, из которого вычитается счет. Мы сосредоточиваем внимание главным образом на считывании данных регрессии, а также рассматриваем вопрос о считке данных классификации. Для регрессии мы показываем ненормализованное линейное число внимания точно в параметрах независимо от долларов США. В случае мягких максимальных значений регрессия не может подсчитываться точно с конечными параметрами; она восстанавливает число после округления, но только тогда, когда нормы параметров векторов растут на $L долларов. Мы измеряем эту стоимость по $B_ {\мин} долл., наименьшему пределу, который можно установить на каждом тренируемом векторе для обеспечения точного подсчета после округления и расчета жестких ставок. При фиксированном измерении модели, $B_ {\мин.} долл. растет в долларах США без нормализации, в $L>3/2} долларов при полной посленормализации и как