Линейный ARD: Перегонка линейного и мемориального внимания для восстановления ROPE

arXiv:2604.0004v3 Тип уведомления: заменить резюме: расширение окон контекста в крупных языковых моделях, как правило, облегчается за счет масштабирования позиционных кодов с последующим продолжением предварительной подготовки (КПТ). Несмотря на свою эффективность, эта парадигма известна как голодная и вычислительно дорогостоящая, что требует массивной длиннотекстовой корпорации для переквалификации модели в смещенное позиционное распределение. Мы предлагаем использовать метод перегонки, который позволит восстановить число учащихся в рамках Roils Option (ROPE) на основе обеспечения соответствия структуры внимания с замороженным местным учителем. Вместо того, чтобы следующий раз прогнозировать или непрозрачно сопоставлять скрытое состояние, LinearARD приводит в соответствие по рядам распределение плотных Q/Q$, $K/K$ и матриц самоотношения V/V$ от окончательного уровня внимания к непосредственному контролю за динамикой внимания. Для удаления квадратного узла памяти, содержащего карты соотношения $n времени n$, мы введем линейно-активирующее-меморное ядро, которое хранит только статистические данные по каждому заданному логарифму