Графтрей: Физическое включение Mesh в гауссианские сцены для разбрызгивания через поиск путей

arXiv: 261 030.37036v 1 Annuate Type: New Humber: Instracting виртуальные объекты в сцены, реконструированные через 2D или 3D Gowssian Splatting (2DGS/3DGSS) является ключевым потенциалом для создания контента, AR и генерирования синтетических данных. Однако реалистичное включение требует бесперебойного освещения объекта сценой и, наоборот, выбрасывания на него физически правдоподобных теней. Существующие подходы либо позволяют согласовать внешний вид в пространстве для отображения изображений, принося ущерб многовидовому освещению или приблизительному освещению сцены на карте окружающей среды в точке ввода, которая не может представлять собой огни вблизи поля зрения, такие как окна и лампы, которые доминируют над внутренним освещением. Для решения этой проблемы мы представляем GraftRay, унифицированный метод физически последовательного ввода сетчатых объектов в комнатные сцены, представленные либо 2D, либо 3D Гауссианцами. Мы восстанавливаем сценические материалы и поверхностные нормальные с помощью диффузионных приводов, а также эксплицитно моделируем пространственные излучатели, решая их блеск в закрытом виде. Гибридный дисплей