Компьютерная наука > Компютерное видение и распознавание шаблонов [представлено 27 октября 2026 года] Название: PerceptRL: Meeting Visual Inseption Applement in MLLMs Out Responses to Interventions View PDF HTML (экспериментальное) резюме: Fine-grained зрительное восприятие остается узким местом в ходе обучения моделей мультимодальных больших языков (MLMS), поскольку ошибки восприятия могут сдерживать выгоды от оптимизации, ориентированной на рассуждения. Хотя предподготовка к съемке изображения улучшает восприятие, ее влияние может ослабевать по мере изменения последующих этапов смесей и целей данных. Непрерывный надзор за субтитрами в период после прохождения обучения является сложным, поскольку субъективные описания информационных емкостей затрудняют поддающуюся проверке структуру вознаграждения. Мы представляем " Перспективный взгляд на мир &qt; , который укрепляет восприятие на двух уровнях. В процессе восприятия RL используется многоагентный трубопровод для извлечения проверенных ошибок из плотных субтитров изображения и преобразования соответствующих визуальных фактов в пары QA с фиксированным ответом и наградами, основанными на правилах. Цепь QA связывает корреляционные ошибки, в то время как много-выборные QA сочетают не связанные с ними ошибки. Специализированный маршрут направлен на высокоэрорные области с специально разработанной проверкой, а доменно-агностический общий путь охватывает ошибки за пределами этих доменов. Агентный RL рассматривает…
Визуальное восприятие можно получить в MLLMS от ответов на вопросы взаимодействия
arXiv: 261 030.37471v 1 Annuales Type: New Habrit: Line-grained Visual Provision остается узким местом в ходе обучения моделей мультимодальных крупных языков (MLMs), поскольку ошибки восприятия могут сдержать выгоды от оптимизации, ориентированной на рассуждения. Хотя предподготовка к съемке изображения улучшает восприятие, ее влияние может ослабевать по мере изменения последующих этапов смесей и целей данных. Непрерывный надзор за субтитрами в период после прохождения обучения является сложным, поскольку субъективные описания информационных емкостей затрудняют поддающуюся проверке структуру вознаграждения. Мы представляем " Перспективный взгляд на мир &qt; , который укрепляет восприятие на двух уровнях. В процессе восприятия RL используется многоагентный трубопровод для извлечения проверенных ошибок из плотных субтитров изображения и преобразования соответствующих визуальных фактов в пары QA с фиксированным ответом и наградами, основанными на правилах. Цепь QA связывает корреляционные ошибки, в то время как много-выборные QA сочетают не связанные с ними ошибки. Специализированные маршруты предназначены для высокоэрорных доменов с специально разработанной проверкой и доменами