LLM2D
动态感知高斯 splatting 流式处理:面向 4D 重建的快速实时训练
Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction
作者: Zhening Liu, Yingdong Hu, Xinjie Zhang, Jiawei Shao, Zehong Lin, Jun Zhang
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.14847v1

摘要

基于三维高斯 splatting 的迭代可流式四维动态空间重建方法。现有方法主要依赖于处理完整的多视角视频进行四维重建,而对能够进行即时训练和逐帧流处理的迭代在线重建方法的探索有限。现有的基于三维高斯 splatting 的流式方法统一处理高斯基元并不断更新致密化的高斯,忽略了动态特征和静态特征之间的差异,也忽略了场景中的时间连续性。为了解决这些限制,我们提出了一种用于迭代可流式四维动态空间重建的新型三阶段流水线。我们的流水线包括一个选择性继承阶段以保持时间连续性,一个动态感知位移阶段以区分动态和静态基元并优化其运动,以及一个误差引导致密化阶段以适应新出现的物体。我们的方法在在线四维重建方面取得了最先进的性能,在即时训练速度方面提高了 20%,具有更优的表示质量和实时渲染能力。