Визуальное токенирование через разложение взаимодействия запросов-видения

arXiv: 261 0333215v 1 Annuales Type: cross Brieft: Models and Light-Language (VLM), которые обрабатывают как визуальные вводные данные, так и запросы на текст, сопряжены с большими затратами изза большого числа визуальных символов, что делает визуальный символический символ естественным подходом к повышению эффективности. Недавняя работа позволила использовать информацию о запросах для руководства выбором символов, зачастую посредством эвристики, получаемой на основе моделей внимания или символический динамики. Однако в этих подходах прямо не используется основополагающая структура взаимодействия между запросами и наблюдениями. Мы устраняем этот пробел, отмечая, что матрица взаимодействия запроса-видения, естественно обусловленная запросом и ключевыми прогнозами, которые уже присутствуют в внимании трансформатора, является фактически низкой по сравнению с небольшим числом доминирующих скрытых способов взаимодействия, включая семантику, имеющую отношение к запросу. Исходя из этого наблюдения, мы предлагаем новый метод поиска-видения (QViD), который используется в этой структуре. Обширный ex