摘要
arXiv:2504.02860v1 交叉公告类型:交叉学科
摘要:在扩展现实(XR)平台上,4D视频的前景是巨大的且令人振奋的,它开辟了全新的人类计算机交互方式以及我们感知现实和消费多媒体的方式。在这篇论文中,我们展示了在Microsoft混合现实平台上渲染4D视频的可能性。这使我们能够轻松地将任何来自CVSSP的3D表演捕捉移植到像HoloLens这样的XR产品中。然而,如果3D模型过于复杂,由数百万个顶点组成,那么由于当前硬件和通信系统的限制,移植模型所需的数据带宽将是一个严重限制。因此,在这个项目中,我们还开发了一种基于深度学习模型的4D视频序列的紧凑表示,以有效学习4D视频序列的紧凑表示,并在不影响视频序列的形状和外观的情况下重构它。