О необходимости внимания со стороны FFN Разделение в видении трансформаторов

arXiv: 2610.103003v1 Аннонс Тип: новое резюме: стандартная трансформаторская архитектура опирается на жесткий шаблон, в котором чередуются уровни внимания и Feed-Forward Network (FN). Несмотря на широкое распространение этой практики, индуктивная предвзятость, обусловленная таким строгим разделением, не была систематически изучена. В ходе этой работы мы изучаем необходимость дихотомии "Внимание - внимание" в Трансформерах Видения (ВИТ). Для облегчения этого анализа мы введем модуль AttenFeed, унифицированный компонент, который объединяет функциональные свойства как Внимание, так и FFN. Основываясь на этом модуле, мы разрабатываем унифицированный Vision Transformer (uVitte), который заменяет обычную структуру с чередованием внимания-FN последовательность модулей AttenFeed. Затем мы используем UVit в качестве контрольной группы, которая расслабляет дихотомию "Внимание-FN" стандартного VIT и систематически сравнивает две модели между несколькими наборами данных и масштабами моделей. Наши эксперименты показывают, что дихотомия "Внимание - внимание" может помешать работе