LLM2D
SplaTraj:基于语义高斯混合模型的相机轨迹生成
SplaTraj: Camera Trajectory Generation with Semantic Gaussian Splatting
作者: Xinyi Liu, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06014v1

摘要

近年来,许多机器人环境表示方法都集中在逼真重建上。本文特别关注从逼真的高斯 Splatting 模型生成图像序列,这些序列与用户输入的语言指令相匹配。我们提出了一种新颖的框架 SplaTraj,它将逼真环境表示中的图像生成公式化为一个连续时间轨迹优化问题。成本的设计使得遵循轨迹姿态的相机能够平滑地遍历环境,并以摄影的方式渲染指定的空间信息。这是通过使用语言嵌入查询逼真表示来隔离与用户指定输入相对应的区域来实现的。然后将这些区域投影到相机随着时间的推移而移动的视图中,并构建成本。然后,我们可以应用基于梯度的优化,并通过渲染进行微分,以优化定义成本的轨迹。生成的轨迹会移动到摄影角度以查看每个指定的物体。我们在各种环境和指令上对我们的方法进行了实证评估,并展示了生成图像序列的质量。