arXiv:2409.12518v3 发布类型: replace-cross 摘要：我们提出了一种名为Hier-SLAM的语义3D高斯点云SLAM方法，该方法具有新颖的分层分类表示，能够实现准确的全局3D语义建图、扩展能力以及3D世界中的显式语义标签预测。随着环境复杂性的增加，语义SLAM系统中的参数使用量显著增加，这尤其使得场景理解变得极具挑战性和成本高昂。为了解决这一问题，我们引入了一种新的分层表示，它以紧凑的形式将语义信息编码到3D高斯点云中，利用大语言模型（LLMs）的功能。我们还引入了一种新的语义损失，用于通过层级间和跨层级优化来优化分层语义信息。此外，我们增强了整个SLAM系统，从而提高了跟踪和建图性能。我们的Hier-SLAM在建图和跟踪准确性方面优于现有的密集SLAM方法，同时实现了2倍的操作速度提升。此外，它在生成小合成场景的语义分割方面表现出竞争力，减少了存储和训练时间的需求。带有语义信息的渲染FPS达到了2000，不带语义信息时达到了3000。最值得注意的是，它展示了处理超过500个语义类别的复杂现实世界场景的能力，突显了其宝贵的扩展能力。