Остаточные средства

arXiv: 2607.18730v2 Annuales Type: заменить Резюме: последние работы расширяют остаточные пути трансформатора по двум дополнительным осям: исторический поиск выбирает информацию из предыдущих глубин, в то время как многовекторные методы поддерживают несколько остаточных траекторий. Эти возможности в значительной степени изучаются изолированно, и назначение независимого ретривера для каждого потока по-прежнему не позволяет одной траектории влиять на выбор глубины в другой. Мы предлагаем использовать остатки двойного внимания (ДАР), которые позволяют обеспечить взаимодействие между различными сторонами в историческом процессе посредством взаимного перекрестного рассмотрения. Для каждого целевого потока DAR вычисляет глубинные веса из нормализованных состояния в противоположном потоке и применяет их к значениям собственной истории целевого потока. Извлеченные штаты объединяются для неизмененной трансформаторной ветки и обновляются через замкнутые записи; вариант блок-образца работает на блоковом уровне истории, чтобы контролировать накладные расходы. В рамках плотных моделей от 0,1B до 1В парамет