GTFormer: Альтернатива сети Syntax-free Граф для трансформаторов за 8192 долл. США/время Экстраполяция длины в линейное время
arXiv: 261 030.37524v1 Annuales Type: New Humber Brieflow: Механизмы самоуважения установили трансформатор в качестве доминирующей опоры для естественной языковой обработки, интеллигенции исходного кода и автоматизированной теоремы. Вместе с тем, межпараллельное сопоставление обеспечивает квадратную вычисление и барьер памяти в размере $\mathcal {O}(N>2) долл. США наряду со значительным разбавлением мягких максимальных значений внимания как длина последовательности шкал N долларов за пределами учебного горизонта. Вдохновленные недавними достижениями в обучении алгебраическим графом (\textbf {WPNet}), эта работа вводит ~текстбф {GTFormer}, не предусматривающий синтаксиса иерархическую графическую сеть (ГНН) вместо плоского самооценки для общей длинноконтактной последовательности моделирования. GTFormer организует первичные символические потоки в ограниченную иерархию степени, объединяя сбалансированное двоичное дерево сокращения ($lceil log_2 N / глубина), горизонтальные края сдвига границ и маневров, случайные развязки расширения, многоканальное шоссейный глянцевый переход и сверху дозвуковой трансляции. Через восемь длинных текстовых кодов
