SAGE: Синк-наблюдение, ориентированное на визуальное заземление в декодерах зрения

arXiv: 261.10.11469v1 Annualce Type: New Humber: Update: Bureign Great-Language Models (VLMs) спаривает визуальный энкодер с большой языковой моделью (LLM) и хорошо выполняет различные задачи, связанные с изображениями - текстовые, однако их надежность часто ограничивается патологией декодера внимания, которые подавляют визуальные данные и усугубляют галлюцинации. В этом документе мы возвращаемся к визуальному вниманию поглотителей и обнаруживаем структурированное, зависимое от слоя поведение: в разных точках быстрых или поздних декодерных слоев внимание быстро падает на те же несколько регионов изображения, которые мы называем PIS (Промпт-Инвариантные Синки), тогда как средние слои становятся быстро кондиционированными и приводят в соответствие язык зрения. Это разделение предполагает, что рассмотрение поглотителей в качестве единообразного эффекта является неполным. Основываясь на этом понимании, мы предлагаем SAGE (уделение повышенного внимания с помощью программы " Синк-эвер &qt; ), легкое вмешательство, которое отталкивает внимание декодера от PIS и к зависящим от запросов регионам интересов (ROI) с использованием символических масок ROI, полученных из стандартных