arXiv:2505.09108v1 交叉类型：cross 摘要：随着自主机器人系统日益成熟，用户将希望以任务的意图层面而非低级别的细节层面来指定任务。语言是对此类任务指定的一种表达性和直观性很强的媒介。然而，实现语言指导的机器人团队需要克服重大的技术障碍。解释和实现语言指定的任务需要高级语义推理。成功的异构机器人必须有效地协调行动并在不同的视角之间共享信息。此外，机器人的通信通常是非连续的，需要利用通信机会制定健壮的策略，以维持协调并实现任务目标。在本文中，我们提出了一套首创的系统，该系统使无人飞行器（UAV）和无人地面车辆（UGV）能够在自然语言指定的任务下互相协作完成任务，并在任务指定发生变化时做出实时反应。我们利用大型语言模型（LLM）驱动的计划器，在航空器和地面机器人之间在线构建并机遇性地共享语义-度量地图来进行推理。我们将任务驱动的导航应用于城市和农村地区。我们的系统必须推断出与任务相关的意义，并通过语义映射主动获取信息。在地面和空地团队协作实验中，我们在公里尺度的导航中演示了系统对七个不同自然语言规定任务的应用。