СплэтСкаут: запрос на сегментирование части уровня в гауссианских сценах

arXiv: 261 030.37098v 1 Annuate Type: New Habrial: Существующие методы передачи сегментации на сценах Гаусса главным образом нацелены на целые объекты, полагаясь на кандидатов, созданных сегментером, из которых выбирается модель языка зрения (VLM). Такие заранее определенные стационарные кандидаты могут не включать тонкие части, необходимые в качестве целей или сигналов для идентификации объектов. Мы введем SplatsScout, подход с запросами и замкнутым рулем, который ставит восприятие под контроль VLM. Модель активно отбирает взгляды, направляет сегментацию и проверяет полученные 3D результаты для уточнения своих прогнозов. Для оценки на частичном уровне мы введем часть Reference-ScanNet++, которая включает 261 ручной проверки запросов по 12 сценам Scannet++ с sesh-сделанной наземной правдой. На сайте "PartRef-ScanNet+" SplatScout достиг 0,538 mIoU, значительно превысив существующие методы. Абляции демонстрируют преимущества итеративного совершенствования, в то время как сопоставления по всем позвоночникам системы ДЗЗ указывают на важность эффективного использования инструментов обратной связи. СплэтСкаут