摘要
我们提出了Hi-SLAM,一种语义3D高斯喷射SLAM方法,具有新颖的分层类别表示,能够实现精确的全局3D语义映射、扩展能力以及在3D世界中的显式语义标签预测。随着环境复杂性的增加,语义SLAM系统中的参数使用量显著增加,使得场景理解变得特别具有挑战性和成本高昂。为了解决这一问题,我们引入了一种新颖的分层表示,将语义信息以紧凑的形式编码到3D高斯喷射中,利用大型语言模型(LLMs)的能力。我们进一步引入了一种新颖的语义损失,通过层间和跨层优化来优化分层语义信息。此外,我们增强了整个SLAM系统,从而提高了跟踪和映射性能。我们的Hi-SLAM在映射和跟踪精度方面均优于现有的密集SLAM方法,同时实现了2倍的操作速度提升。此外,它在小型合成场景中的语义分割渲染方面表现出竞争性能,显著减少了存储和训练时间需求。渲染FPS在带有语义信息时达到2,000,不带语义信息时达到3,000。最值得注意的是,它展示了处理包含超过500个语义类别的复杂现实世界场景的能力,突显了其宝贵的扩展能力。