LLM2D
PhotoReg: 基于光度法的 3D 高斯 splatting 模型配准
PhotoReg: Photometrically Registering 3D Gaussian Splatting Models
作者: Ziwen Yuan, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.05044v1

摘要

构建对环境的准确表示对于智能机器人在部署期间做出决策至关重要。光影逼真的环境模型的进步使机器人能够开发出超逼真的重建,这些重建可用于生成对人类检查直观的图像。特别是,最近引入的 3DGS(用多达数百万个原始椭球体描述场景)可以实时渲染。3DGS 迅速获得了突出地位。然而,一个关键的未解决问题仍然存在:如何将多个 3DGS 合并到一个单一的连贯模型中?解决这个问题将使机器人团队能够共同构建其周围环境的 3DGS 模型。这项工作的一个关键见解是利用光影逼真的重建(从 3D 结构渲染逼真的 2D 图像)和 3D 基础模型(从图像对预测 3D 结构)之间的“对偶性”。为此,我们开发了 PhotoReg,这是一个使用 3D 基础模型注册多个光影逼真 3DGS 模型的框架。由于 3DGS 模型通常由单目相机图像构建,因此它们具有“任意比例”。为了解决这个问题,PhotoReg 通过考虑这些模型中的深度估计,主动地在不同的 3DGS 模型之间强制执行比例一致性。然后,通过细粒度的光度损失迭代地细化对齐,以生成高质量的融合 3DGS 模型。我们在标准基准数据集和我们自定义收集的数据集(包括两只四足机器人)上对 PhotoReg 进行了严格评估。代码发布在 \url{ziweny11.github.io/photoreg}。