arXiv:2404.15190v2 任务类型: 更换 摘要: 实体化指令跟随(EIF)是指通过导航和与环境中对象进行互动来执行自然语言指令的任务。在EIF中，关键挑战是组合任务规划，通常通过监督学习或带有标注数据的少样本上下文学习来解决。为了解决这一问题，我们引入了苏菲凯普兰(Socratic Planner)，这是一种基于自我问答的零样本规划方法，可以在没有任何进一步训练的情况下推断出合适的计划。苏菲凯普兰首先通过大型语言模型(LLM)促进自我提问和回答，这反过来有助于生成一系列子目标。在执行子目标时，实体化代理可能会遇到意外情况，例如不可预见的障碍。然后，苏菲凯普兰通过基于视觉的重新规划机制根据密集的视觉反馈调整计划。实验表明，苏菲凯普兰的有效性，在ALFRED基准测试上，所有指标上均优于当前最先进的规划模型，特别是在需要复杂推断的长时距任务中表现出色。我们进一步通过在物理机器人上部署来进行长时距任务，展示了其在现实世界中的应用潜力。