arXiv:2409.07200v2 通告类型: 替换交叉 摘要：红外成像对于军事和其他监视摄像头的用户尤其有价值。一些基于神经辐射场（NeRF）的最新方法从一系列红外和RGB图像中重建3D热场景。然而，与NeRF相比，3D高斯散点图（3DGS）因其快速训练和实时渲染而占据优势。在本文中，我们提出了ThermalGaussian，这是首个能够以高质量的RGB和热成像模式渲染图像的3DGS方法。首先，我们校准RGB相机和热成像相机，以确保两种模态准确对齐。随后，我们使用对齐后的图像学习多模态3D高斯分布。为了避免任何单模态的过拟合，我们引入了若干多模态正则化约束。我们还开发了针对热模态物理特性的平滑约束。此外，我们贡献了一个名为RGBT-Scenes的真实世界数据集，通过手持红外热像仪捕捉，有助于未来热场景重建的研究。我们进行了全面的实验，证明ThermalGaussian可以实现逼真的热图像渲染并提高RGB图像的渲染质量。借助所提出的多模态正则化约束，我们还将模型的存储成本降低了90%。我们的项目页面位于https://thermalgaussian.github.io/。