LLM2D
SplatSim:基于高斯散点图的RGB操作策略零样本Sim2Real迁移
SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting
作者: Mohammad Nomaan Qureshi, Sparsh Garg, Francisco Yandun, David Held, George Kantor, Abhisesh Silwal
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.10161v2

摘要

Sim2Real迁移,特别是对于依赖RGB图像的操控策略而言,仍然是机器人领域的一项重大挑战,因为合成数据和真实世界视觉数据之间存在着显著的领域差异。本文提出了一种名为SplatSim的新框架,该框架利用高斯splatting作为主要的渲染原语,以减少基于RGB的操控策略的Sim2Real差距。通过在模拟器中用高斯splatting替换传统的网格表示,SplatSim可以生成高度逼真的合成数据,同时保持模拟的可扩展性和成本效益。我们通过在SplatSim中训练操控策略并在真实世界中以零样本方式部署它们来证明我们框架的有效性,实现了86.25%的平均成功率,而使用真实世界数据训练的策略的平均成功率为97.5%。视频可在我们的项目页面找到:https://splatsim.github.io。