GATOR: Генерационные и агентские 3D-реконструкции объектов из случайных изображений

arXiv: 261 0.111215v1 Аннонс Тип: новое резюме. Реконструирование полных, непривязанных к сцене 3D объектов из случайных изображений требует объединения редких, неопределенностей наблюдений и замыкающихся поверхностей, спрятанных при помощи оккультизации. Мы представляем GATOR, процессивную и агентическую систему, которая восстанавливает текстовые активы объекта и их отношение к сцене из одного или нескольких изображений. Наша местная модель миксера, привязывающаяся к сцене RGB, целевые маски и точечные карты, перед перекрестными рассуждениями, сохраняя контекст сцены, отличив цель от окружающих. Семантическое кондиционирование с использованием текстов дополняет эти пространственные сигналы названиями категорий и субтитры объектов через адаптационные устройства для создания структуры, геометрии и внешнего вида. Выработанный актив инициализирует мультимодальный агент, обеспечивая геометрию конкретных примеров и порождая целевую структурную и текстурную доработку с помощью цикла редактирования-рецензии на основе наблюдений. Через синтетические объекты, запутанные столы и инду