摘要
模拟到真实世界迁移,特别是对于依赖于 RGB 图像的操控策略,由于合成数据和真实世界视觉数据之间存在显著的领域差异,因此仍然是机器人学中的一个关键挑战。本文提出了一种名为 SplatSim 的新框架,该框架利用高斯 splatting 作为主要的渲染原语来减少基于 RGB 的操控策略的模拟到真实世界迁移差距。通过在模拟器中用高斯 splat 替换传统的网格表示,SplatSim 能够生成高度逼真的合成数据,同时保持模拟的可扩展性和成本效益。我们通过在 SplatSim 中训练操控策略并在真实世界中以零样本的方式部署它们来证明该框架的有效性,实现了 86.25% 的平均成功率,而用真实世界数据训练的策略的成功率为 97.5%。视频可以在我们的项目页面上找到:https://splatsim.github.io