摘要
我们提出 M^3Bench,一个用于移动操作任务的全身运动生成的新基准。给定一个 3D 场景上下文,M^3Bench 需要一个具身代理来理解其配置、环境约束和任务目标,然后生成协调的全身运动轨迹以完成物体重排任务。M^3Bench 包含 119 个不同场景中的 30,000 个物体重排任务,并提供由我们新开发的 M^3BenchMaker 生成的专家演示。这个自动数据生成工具根据高层次的任务指令生成协调的全身运动轨迹,只需要基本的场景和机器人信息。我们的基准包含各种任务拆分,以评估跨不同维度的泛化能力,并利用真实的物理模拟进行轨迹评估。通过广泛的实验分析,我们发现最先进的模型在遵守环境上下文和任务特定约束的同时,仍然难以协调底座-手臂运动,这突出了开发新模型来填补这一差距的必要性。通过 M^3Bench,我们的目标是促进未来机器人研究,以实现更具适应性和能力的移动操作,以应对各种真实世界环境。