Компьютерные науки > Компютерное видение и распознавание шаблонов [представлено 17 сентября 2026 года] Название: " Уважаемое и Эксплуатация диагонального внимания в Autoregressive Image Generation View PDF HTML (экспериментальное) резюме: Авторегрессивное создание изображений стало парадигмой мультимодальных систем АИ, поскольку оно совместимо с инфраструктурой, обслуживающими LLM на основе трансформатора. Однако создание тысяч визуальных символов в каждом запросе делает декодирование все более узким доступным для кэша KV во время вычисления внимания. Особое внимание уделяется этой рабочей нагрузке, поскольку многие прикладные программы визуального производства допускают умеренную деградацию качества в обмен на повышение эффективности и результативности. Несмотря на то, что мало внимания уделялось текстуальным выводам ЛЛМ, остается неясным, позволяют ли его предположения о спарстичности эффективно обобщать для авторегрессивного создания изображений. Мы представляем первую систематическую характеристику спазмов внимания в авторегрессивном создании изображений по различным направлениям работы и репрезентативным моделям открытого источника. Наш анализ показывает несколько отличительных свойств, в том числе ярко выраженную асимметрию перед кодированием, высокую концентрацию внимания на быстрых и местных символах и уникальную диагональную структуру спарсиентности внимания, обусловленную пространственной локализацией визуальных знаков. Исходя из этих наблюдений, мы предлагаем…
Понимание и эксплуатация диагонального внимания в авторегрессивном появлении изображений
arXiv:2609.19702v1 Annualce Type: New Humber Brieflow: Авторегрессивное создание изображений стало парадигмой мультимодальных систем АИ в силу их совместимости с инфраструктурами, обслуживающими на основе трансформатора. Однако создание тысяч визуальных символов в каждом запросе делает декодирование все более узким доступным для кэша KV во время вычисления внимания. Особое внимание уделяется этой рабочей нагрузке, поскольку многие прикладные программы визуального производства допускают умеренную деградацию качества в обмен на повышение эффективности и результативности. Несмотря на то, что мало внимания уделялось текстуальным выводам ЛЛМ, остается неясным, позволяют ли его предположения о спарстичности эффективно обобщать для авторегрессивного создания изображений. Мы представляем первую систематическую характеристику спазмов внимания в авторегрессивном создании изображений по различным направлениям работы и репрезентативным моделям открытого источника. Наш анализ показывает несколько отличительных свойств, в том числе ярко выраженный