Адаптивное Visual Token Сокращение для ускоренного понимания изображений
arXiv: 2610,09252v1 Annuate Type: New Humber Brieflook: Большие модели зрения-Language достигают высоких показателей VQA, но обработка изображений с высоким разрешением и богатой информацией требует значительных вычислений, мотивирующих сокращение визуального символа. Вместе с тем существующие методы часто обезлесивают отдельные символы или опираются на урожаи фиксированного размера, что ограничивает их способность сохранять пространственно структурированную информацию, например горизонтальный или вертикально продолговатый текст. Для устранения этого ограничения мы предлагаем использовать в качестве основы для сокращения визуального символа, ориентированного на конкретные инструкции и предназначенного для эффективного вывода по LVLM. В состав МРПЖ входят реструктуризация окна с управлением по вопросам значимости (RWR) и проинструктированная токеновая доработка (ITR), в рамках которой RWR фиксирует соответствующие инструкции регионы путем адаптации к их пространственным характеристикам, а ITR продолжает удалять ненужные визуальные символы. Эксперименты по четырем контрольным показателям VQA показывают, что ReFIT повышает точность ответов при одновременном сокращении расходов на расчеты и качественные результаты демонстрируют свою эффективность в l
