arXiv:2502.02067v1 体现类型：跨领域 摘要：体态化代理协助人类时，常被要求在一个新的场景中完成新的任务。例如，基于已知食谱在厨房中准备某种菜肴的代理可能会被要求准备新的菜肴，或者执行储藏室的清洁任务。在这种情况下可能缺乏足够的资源，如时间或带标签的数据，以对代理进行这些新情景的训练。大语言模型（LLMs）在跨多种领域接受大量知识训练后，能够预测此类新任务和场景的一系列抽象动作，虽然代理可能由于任务、代理或领域特定的约束无法执行这些动作序列。我们的框架通过利用LLM提供的通用预测以及在知识图谱（KG）中编码的先验领域特定知识，解决了这些挑战，使代理能够快速适应新的任务和场景。该机器人还根据需要请求并利用人的输入来完善其现有知识。基于在烹饪和清洁任务上的模拟域实验评估，我们证明了LLM、KG和人类输入之间的相互作用相比于仅使用LLM输出能够带来显著的性能提升。