arXiv:2405.11928v3 发布类型: replace-cross 摘要：本文研究了开发能够理解模糊指令以创建功能性物体排列的机器人的挑战，例如“为两个人布置一个餐桌”；以往的排列方法主要集中于更为明确的指令，如“将物体A放在桌子上”。我们提出了一个框架，SetItUp，用于学习解读模糊指令。SetItUp 可以通过少量的训练示例和人工创建的程序草图来发现特定场景类型的排列规则。通过利用一个中间的类似图形表示的抽象空间关系，SetItUp 将排列问题分解为两个子问题：i) 从有限数据中学习排列模式，ii) 将这些抽象关系具体化为物体姿态。SetItUp 利用大型语言模型（LLMs）提出新的场景中物体之间的抽象空间关系作为需满足的约束条件；然后，它结合与这些抽象关系相关的扩散模型库来寻找满足约束条件的物体姿态。我们在包含学习桌、餐桌和咖啡桌的数据集上验证了我们的框架，结果显示与现有模型相比，SetItUp 在生成物理上合理、功能性且美观的物体排列方面表现出更优的性能。