Робоквест: общие физические агенты, которые ищут, проверяют и тестируют
arXiv: 261 010,0388v 1 Annuales Type: кросс-бюллетень: Последние достижения в мультимодальных моделях фундамента сделали их способными общими физическими агентами для целого ряда задач по манипуляции. Вместе с тем для успешного осуществления операций в незнакомой среде может потребоваться, чтобы агент искал информацию, имеющую отношение к задаче, посредством взаимодействия, когда она отсутствует в наблюдениях: ему может понадобиться определить, где находится соответствующий объект, проинспектировать ненаблюдаемое имущество или обнаружить эффект неизвестного инструмента. Таким образом, мы представляем RoboQuest - ориентир для целенаправленного исследования, в рамках которого агенты должны активно получать информацию о задачах посредством физического взаимодействия, использовать полученные данные для адаптации последующих действий и самостоятельно решать вопрос о том, когда взять на себя обязательство завершить выполнение задачи. RobocQuest включает в себя 10 задач мобильной манипулирования, сосредоточенных на трех формах неуверенности: поиск, инспекции с использованием манипуляций и интерактивные испытания. Мы оцениваем пять пограничных мультимодальных агентов с помощью общего вижумото.
