EgoP$ {2}C: интернализация плана-персейв-комплекс для пространственного обоснования в эгоцентрическом видео

arXiv: 2610.22681v1 Annualce Type: новый резюме: Ответ на сложные вопросы пространственного рассуждения из эгоцентрического видео требует определения того, какие доказательства необходимы, получения целевых наблюдений и их сочетания с помощью многоплановых шагов. Существующие модели языка зрения (МВУ) пытаются обеспечить надежное осуществление этого процесса. Агентские системы решают эту проблему, запрашивая внешнее зрение и инструменты геометрии, но обучение их рассуждениям оставляет эти средства без изменений, поэтому неточные наблюдения могут все же привести к неверным ответам. Мы представляем EgoP$ {2}C — систему, которая интернализирует процесс планирования-процедуры в рамках единого VLM. С этой целью мы сначала обучаем специализированных преподавателей планирования и восприятия с использованием отдельных адаптаторов (двойной-ЛоРА), а затем отладим работу соответствующих экспертов в группе специалистов под их руководством. Затем мы обучаем студента траекториям, создаваемым его нынешней политикой с использованием сегментного расширения числа учителей на поли