Использование моделей мультимодальных крупных языков для свободного от обучения людей и выявления взаимодействия между ними

arXiv: 2610,06394v 1 Annuales Type: New Human-Person-Objective compacting (HOI) discrimination имеет целью локализовать пары людей и распознать их взаимодействие. Традиционные методы контроля работают в значительной степени, но зависят от подготовки по конкретным задачам. Недавние модели мультимодальных крупных языков (МВУ) открывают многообещающий путь к бесплатному обнаружению ОВЗ с помощью их широких визуальных и семантических знаний, а также многоплановых возможностей восприятия и рассуждения. Вместе с тем существующие подходы в значительной степени предусматривают использование этих возможностей на основе несогласованных этапов вывода. Такое фрагментированное исполнение ограничивает роль гипотезы взаимодействия в руководстве визуальной разведкой, оставляя основных участников без внимания и неразрешенные местные неясности. Кроме того, пропаганда ранних семантических предположений посредством последующего визуального заземления и прогнозирования отношений вызывает самоподкрепляющуюся семантичность. Для решения этих проблем мы предлагаем создать программу " Харнессхоуи > , свободную от профессиональной подготовки, которая преобразует пассивный МЛХ в ад.