LLM2D
PhysDreamer:基于物理的视频生成方法实现与3D物体的交互
PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation
作者: Tianyuan Zhang, Hong-Xing Yu, Rundi Wu, Brandon Y. Feng, Changxi Zheng, Noah Snavely, Jiajun Wu, William T. Freeman
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2404.13026v2

摘要

基于物理的 3D 对象交互动力学生成方法 PhysDreamer 是一种基于物理的方法,通过利用视频生成模型学习到的对象动力学先验知识,赋予静态 3D 对象以交互式动力学。通过提取这些先验知识,PhysDreamer 可以合成对新颖交互(例如外力或代理操作)的逼真对象响应。我们在各种弹性物体示例上演示了我们的方法,并通过用户研究评估了合成交互的真实性。PhysDreamer 通过使静态 3D 对象能够以物理上合理的方式对交互式刺激做出动态响应,朝着更具吸引力和逼真的虚拟体验迈出了一步。请访问我们的项目页面 https://physdreamer.github.io/。