arXiv:2503.24009v1 公告类型: 交叉学科 摘要: 从视频数据中学习物理模拟需要保持空间和时间一致性，这通常通过使用强烈的归纳偏见或真实三维信息来解决——这限制了可扩展性和泛化能力。我们提出了3DGSim，这是一种从多视角RGB视频中端到端学习物体动力学的三维物理模拟器。它将图像编码为三维高斯粒子表示，通过变压器传播动力学，并使用三维高斯插值进行渲染。通过使用时间编码和合并层共同训练逆渲染与动力学变换器，3DGSim将物理属性嵌入到点节点潜向量中，而无需强制执行显式的连接约束。这使模型能够捕捉从刚性到弹性和布料样式的各种物理行为，同时还实现了现实的光照效果，这些效果也能够泛化到未见过的多体交互和新的场景编辑。