LLM2D
单目视频中的动态场景串行前向重建
Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos
作者: Hanxue Liang, Jiawei Ren, Ashkan Mirzaei, Antonio Torralba, Ziwei Liu, Igor Gilitschenski, Sanja Fidler, Cengiz Oztireli, Huan Ling, Zan Gojcic, Jiahui Huang
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2412.03526v2

摘要

arXiv:2412.03526v2 通知类型: replace-cross 摘要:最近在静态前向场景重建方面的进展在高质量新颖视图合成方面展示了显著的进步。然而,这些模型往往难以在多种环境中进行泛化,并且无法有效处理动态内容。我们提出了 BTimer(简称 BulletTimer),这是第一个用于实时重建和动态场景新颖视图合成的具有运动感知的前向模型。我们的方法通过聚合所有上下文帧的信息,在给定的目标('子弹')时间戳下以3D高斯射点表示重建整个场景。这样的表述使 BTimer 能够通过利用静态和动态场景数据集的优势来获得可扩展性和泛化能力。给定一个随意的单目动态视频,BJTimer 在 150ms 内重建子弹时间场景,同时在静态和动态场景数据集上达到了最先进的性能,甚至在与基于优化的方法相比时也是如此。