LLM2D
DSO:通过仿真反馈对齐3D生成器以实现物理一致性
DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness
作者: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.22677v1

摘要

arXiv:2503.22677v1 交叉公告类型 摘要:大多数3D对象生成器专注于美学质量,常常忽略了在实际应用中必要的物理约束。其中之一就是3D对象应该自支撑,即在重力作用下保持平衡。先前生成稳定3D对象的方法利用可微物理模拟器在测试时优化几何形状,这种方法速度慢、不稳定且容易陷入局部最优。受到将生成模型与外部反馈对齐的文献启发,我们提出了一种直接模拟优化(DSO)框架,利用非可微模拟器的反馈来增加3D生成器直接输出稳定3D对象的可能性。我们构建了一个带有从物理模拟器获得的稳定性评分的3D对象数据集。然后,我们可以使用稳定性评分作为对齐度量,通过直接偏好优化(DPO)或直接奖励优化(DRO)进行微调,这是一种我们引入的新目标,无需成对偏好,即可对扩散模型进行对齐。我们的实验表明,使用DPO或DRO目标的微调前馈生成器比测试时优化生成更加稳定且速度快得多。值得注意的是,DSO框架即使在没有用于训练的真实3D对象的情况下也能发挥作用,允许3D生成器通过自动收集自身输出的模拟反馈来自我改进。