RoboReason: Наращивание робототехники-потенциала VLM

arXiv: 261 030.33778v 1 Annuate Type: Cross Brieft: Vision-Language Models (VLM) продемонстрировали впечатляющие результаты, когда они были интегрированы в роботоманитарные трубопроводы, однако оценка потенциала VLM на местах по выполнению задач в области роботехники является одновременно сложной и дорогостоящей. Мы предлагаем, чтобы задачи пространственного и временного порядка с использованием изображений из видеокамер и камер на запястьях, прикрепленных к реальным роботам, были особенно хорошо приспособлены для оценки возможностей визуальной аргументации, поскольку они позволяют оценить навыки непосредственно применимые к роботам. Мы оцениваем умения рассуждать на VLM по трем вопросам: заказывать перемешанные рамки, основанные на языковом описании задачи; закачивать объекты в глубину с учетом расстояния от камеры и делать заказы на предметы лево-право в координатах пикселя. Сложность этих задач может быть также видоизменена путем изменения размера набора. Наши эксперименты показывают, что несколько современных моделей языка зрения борются с заказом задач. Починить