arXiv:2311.02787v3 宣告类型: replace-cross 摘要: 变形物体操作在机器人领域既是极具吸引力的挑战，也是极其棘手的挑战。尽管之前的技术主要依赖于通过演示学习潜在动力学，通常以粒子或图像的形式表示，但存在一个关键的局限性：获取合适的演示，尤其是在学习长时任务时，往往难以实现。此外，完全基于演示来学习会限制模型超越所演示任务的能力。在本文中，我们介绍了一种无需演示的分层规划方法，它可以解决复杂的长时任务，而无需任何训练。我们利用大规模语言模型（LLMs）阐述与指定任务对应的高层次、阶段性的计划。对于每个单独的阶段，LLM 提供工具名称和用于生成中间子目标点云的 Python 代码。有了特定阶段的工具和子目标，我们提出了一种细粒度的闭环模型预测控制策略。该策略利用差分物理与点对点对应（DiffPhysics-P2P）损失，在地球移动距离（EMD）空间中迭代应用。实验结果表明，我们的方法在酥皮处理基准测试中表现出色，涵盖了短时和长时任务。值得注意的是，我们的模型展示了强大的泛化能力，可以应对全新的之前未遇到的复杂任务而无需任何预先的演示。我们还通过在实际机器人平台上进行实验验证了我们的方法。项目页面：https://qq456cvb.github.io/projects/donut。