От отключения до ремонта: Смягчение галлюцинации объектов в крупных моделях зрения-лангуажа с помощью локального согласования распределения

arXiv: 2610.11826v1 Аннонс Тип: новое резюме: объектная галлюцинация остается основным препятствием для создания моделей с большим языком зрения (LLVMs) в целях получения надежного контента. Интуитивной стратегией смягчения последствий является подавление связанных с галлюцинацией компонентов в скрытом представлении. Вместе с тем эти компоненты могут также содержать полезную информацию, и их пресечение может ослабить мультимодальный потенциал модели. В настоящем документе мы предлагаем использовать метод ResOT, не предусматривающий обучения, который позволяет отремонтировать представления в момент вывода с помощью локализованного распределения. В частности, ResOT проектирует доминирующие галлюцинации от верного подпространства, образуя низкомерное остаточное пространство для вмешательства. В этом подпространстве ResOT использует галлюцинированный оптимальный транспорт (ОТ) для приведения галлуцинированного распределения в соответствие с верным. В результате карта определяет цели ремонта с минимальными изменениями в первоначальных представлениях. При выводе ResOT адаптивно контролирует, как далеко движется каждое символическое состояние