大型语言模型 (LLM) 与机器人系统的融合为机器人领域带来了变革性的范式，不仅在通信领域提供了前所未有的能力，还在多模态输入处理、高级推理和计划生成等技能方面做出了贡献。将 LLM 的知识融入现实世界被认为是利用 LLM 在机器人领域效率的关键途径。然而，仅仅通过多模态方法或机器人本体将 LLM 的表征连接到外部世界还不足以让它们理解其所操纵的语言的含义。受人类启发，这项工作着眼于代理人掌握和体验世界的三个必要要素。将 LLM 融入现实世界的路线图被设想为一个积极的躯体系统，作为体验环境的参考点，一个时间结构化的体验，用于与外部世界进行连贯的、自我相关的交互，以及社交技能，以获得共同的基础共享体验。