Уделение внимания длительному контексту на основе содержания

arXiv: 2609.073114v1 Тип объявления: новое резюме: установка позиции Ротари (ROPE) использует целое положение каждого символа для определения вращения, применяемого внутри внимания. Это хорошо подходит для местного символического порядка, но увеличение длины контекста создает несоответствие между позиционными испытаниями поездов: ROPE производит относительную ротацию при зачетах, не наблюдаемых во время обучения. Методы, которые перепроизводят, интерполируют, случайны или предвзяты положения, определяют, как внимание обращается с этими смещениями, но все же получают информацию о положении от растущего счетчика символов. Вместо этого мы делим символический поток на единицы, сохраняем обычные позиции ROPE в каждом блоке и присвоим каждому заполненному элементу адрес, рассчитанный по его содержанию. Затем добавление единиц приводит ту же карту к новому содержанию вместо расширения позиционного диапазона или таблицы идентификаторов. Мы доказываем, что эта конструкция сохраняет именно локальный ROPE, оставляет сравнение внимания между двумя фиксированными символами без изменений при вставлении или изменении порядка других единиц и делает это.