Посмотрите только в тех случаях, когда необходимо: Визуальный ритм для эффективного диффузного VLM

arXiv: 261 0366671v1 Annuate Type: New Humber: Difslusion-Language Models (DVLM) обрабатывают весь свой вклад на каждом этапе денонсации. Так как визуальные символы составляют 89-97% от этого входа в контрольные параметры, которые мы изучаем, большая часть декодирования используется для обработки одного и того же изображения. Технологии скручивания визуального символа частично уменьшают это бремя, удаляя часть визуальных знаков, но они теряют удаленную информацию и по-прежнему обрабатывают оставшееся изображение на каждом шагу. Чтобы измерить, как часто требуется изображение, мы сравниваем прогнозы LLADA-V с и без изображения на каждом этапе декодирования и обнаруживаем, что удаление изображения изменяет символ разоблачения всего лишь 22,8% шагов в среднем и 7,9%. Поэтому мы предлагаем метод декодирования, который на каждом этапе решает вопрос об обработке изображения и сколько символов разоблачить. LOWN предсказывает символы в маске без изображения и обрабатывает изображение только тогда, когда это предсказание не согласуется с последним IM