#Attention

20 статей
Механизмы внимания в современных LLM Хабр
Хабр

Механизмы внимания в современных LLM

Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse attention, linear/recurrent подходы и гибридные архитектуры ...

Хабр
7
Читать
arXiv Machine Learning
arXiv Machine Learning

Tail-Replay: Escaping the Curse of Linear Attention в Prefix Caching для гибридных LLM

arXiv:2608.30310v1 Гибридные большие языковые модели переплетают слои полного внимания с слоями линейного внимания, чтобы снизить стоимость вывода в длинном контексте. Эта структура усложняет кэширова...

arXiv Machine Learning
2
Читать
arXiv Computer Vision
arXiv Computer Vision

RAVE: перераспределение визуального внимания в больших мультимодальных моделях

arXiv:2605.18359v3 Большие мультимодальные модели (LMM) наследуют механизм самовнимания предварительно обученных языковых магистралей, но стандартное внимание может демонстрировать неоптимальное распр...

arXiv Computer Vision
1
Читать
arXiv NLP
arXiv NLP

От слоев к субмодулям: переосмысление гранулярности при сжатии LLM на основе замены

arXiv:2606.02559v2 Анонс Тип: замена Абстракт: После обучения сжатие моделей большого языка (LLM) удаляет целые архитектурные компоненты, либо удаляя их, либо заменяя их установленными модулями. Сущес...

arXiv NLP
1
Читать
arXiv AI
arXiv AI

Многоглавое внимание на основе Махаланобиса для комплексного государственного распространения

arXiv:2608.24462v1 В этой статье мы предлагаем \textbf{Mahalanobis-Based Multi-Head Attention} (MHA-CSP), новый механизм внимания, который заменяет стандартный точечный продукт с \textbf{Mahalanobis d...

arXiv AI
3
Читать
arXiv NLP
arXiv NLP

Оригинальное название: Attention Sink as a Gateway for Backdooring LLM Unlearning

arXiv:2510.17021v2 Тип замещения: Необучение в модели большого языка (LLM) является ключевым подходом для удаления нежелательных данных, знаний или поведения из предварительно подготовленных моделей п...

arXiv NLP
5
Читать
arXiv NLP
arXiv NLP

RIG-RoPE: Relation-Stratified Multimodal Attention with Instance-Local Rotary Geometry and Representation-Aware Traversal Coordinates

arXiv:2608.05154v3 Тип объявления: Замените Абстракт: Мультимодальные вращающиеся позиционные кодировки применяют временные, высотные и ширины фазы к переплетенным текстовым, графическим и видео токен...

arXiv NLP
5
Читать
arXiv Computer Vision
arXiv Computer Vision

Entropy-Guided Cropping and Attention Regularization for Robust Vision (англ.) (недоступная ссылка — история)

arXiv:2608.22996v1 Анонс Тип: новый Абстракт: Модели языка зрения (VLM) хорошо выполняют различные задачи на языке зрения, но визуальные кодеры на основе трансформатора разделяют изображения на изобра...

arXiv Computer Vision
2
Читать
arXiv Computer Vision
arXiv Computer Vision

StereoDiffuer: Прогрессивное геометрическое моделирование на основе диффузии с восприятием внимания к стерео-совпадению

arXiv:2608.21710v1 С развитием глубоких нейронных сетей качество карт неравенства, полученных с помощью стерео-совпадения, неуклонно улучшалось. Тем не менее, существующие методы стерео-совпадения все...

arXiv Computer Vision
3
Читать
arXiv NLP
arXiv NLP

FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context

arXiv:2608.19758v1 Длинноконтекстное моделирование является ключевой возможностью для моделей большого языка, но квадратичная сложность внимания остается критическим узким местом, особенно во время вы...

arXiv NLP
3
Читать
arXiv Computer Vision
arXiv Computer Vision

What Does Attention Transfer Transfer? Attention Structure and Robustness in Vision Transformers

arXiv:2608.18399v1 Announce Type: new Abstract: Vision transformers (ViTs) trained to copy a pretrained teacher's attention maps recover most of fine-tuning's in-distribution accuracy yet fall measura...

arXiv Computer Vision
4
Читать
arXiv Computer Vision
arXiv Computer Vision

Inference-Time Attention Steering for Vision-Language-Action Driving Models

arXiv:2608.17095v1 Announce Type: new Abstract: Vision-language-action (VLA) driving models couple a reasoning stage with a diffusion-based trajectory decoder, but do not give a direct way to redirect...

arXiv Computer Vision
3
Читать
arXiv Computer Vision
arXiv Computer Vision

Spatial Attention Noise Masking for Causally Sufficient Interpretability

arXiv:2608.14725v1 Announce Type: new Abstract: We present a novel causal approach to interpretability for computer vision models that dynamically masks the input image prior to classification. The in...

arXiv Computer Vision
2
Читать
arXiv Computer Vision
arXiv Computer Vision

Attention Capture Is Not Detection: A Two-Stage Account of How Humans Miss Localized AI Image Edits

arXiv:2608.13865v1 Announce Type: new Abstract: As AI-generated image edits proliferate, the platforms meant to curb the resulting disinformation treat detectability as a single, undifferentiated prop...

arXiv Computer Vision
3
Читать
arXiv Machine Learning
arXiv Machine Learning

Structure-Guided Spatiotemporal Attention Graph Neural Network for Traffic Flow Prediction

arXiv:2608.14177v1 Announce Type: new Abstract: Deep spatiotemporal models integrating graph convolutions and attention mechanisms have demonstrated excellent performance in network-level traffic flow...

arXiv Machine Learning
3
Читать