LLM2D
SPINE:面向非结构化环境中自然语言规格不完整任务的在线语义规划
SPINE: Online Semantic Planning for Missions with Incomplete Natural Language Specifications in Unstructured Environments
作者: Zachary Ravichandran, Varun Murali, Mariliza Tzes, George J. Pappas, Vijay Kumar
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03035v1

摘要

随着机器人的能力不断提升,用户希望能够描述高层次的任务,并让机器人填补细节。在许多现实场景中,预先构建的地图难以获取,因此执行任务需要探索和建图,而这些是任务所必需的,并且是针对特定任务的。例如,在紧急救援场景中,用户命令机器人“对受灾区域进行分类”。机器人必须根据先验知识或其他上下文推断相关的语义(受害者等)和探索目标(受损区域),然后探索并在线完善其计划。这些任务的描述是不完整的,这意味着它们隐含了子任务和语义。虽然许多语义规划方法在线运行,但它们通常被设计用于明确定义的任务,例如物体搜索或探索。最近,大型语言模型 (LLMs) 在一系列用自然语言描述的机器人任务中展示了强大的上下文推理能力。然而,现有的 LLM 规划器通常不考虑在线规划或复杂的任务;相反,相关子任务由预先构建的地图或用户提供。我们通过 SPINE(用于非结构化环境中具有不完整自然语言规范的任务的在线语义规划器)来解决这些局限性。SPINE 使用 LLM 来推理任务所隐含的子任务,然后在后退地平线框架中实现这些子任务。任务会自动验证安全性,并通过新的观察结果在线完善。我们在仿真和真实世界环境中对 SPINE 进行了评估。评估任务需要在超过 20,000 平方米的杂乱户外环境中进行多步语义推理和探索。我们评估了 SPINE 在单智能体和空地协同应用中的竞争基线。请访问我们的项目页面查看视频和软件:https://zacravichandran.github.io/SPINE。