Лабмир: изучение интерактивных 4D миров для научных экспериментов
arXiv: 261 030,36592v1 Аннот. Новое резюме: Автономные научные агенты должны не только объяснять эксперименты, но и взаимодействовать с физической средой их осуществления. Существующие лабораторные симуляторы, как правило, полагаются на ручные средства и предопределенные процедуры, в то время как лабораторное видео фиксирует реальное оборудование, планировки и взаимодействие, но оставляют эту информацию скрытой в пикселях. Мы представляем LabWorld, программу реал2Sim с агентом для восстановления интерактивного 4D лабораторных миров из монокулярного RGB видео. LabWorld восстанавливает 3D-активы, метрическую сцену, состояние часовых объектов и события процедуры. Множественные наблюдения позволяют получить дополнительные данные о восстановлении объектов и мест, в то время как восстановление движения сочетает визуальные и геометрические наблюдения с ограничениями на события, кодирующими пространственно-временные потребности лабораторных взаимодействия. Мы оцениваем LabWorld на реальных видео, собранных в нашем лабо.
