arXiv:2504.08256v1 宣告类型: cross 摘要: 近期大型语言模型（LLMs）的进步为虚拟现实（VR）中的上下文理解提供了新的机会。然而，VR上下文往往是高度局部化和个性化的，限制了通用型LLMs的有效性。为了解决这一挑战，我们提出了RAG-VR，这是首个结合检索增强生成（RAG）的3D问答系统，通过将外部知识从局部化的知识数据库中检索出来，增强语言模型，从而提高答案质量。RAG-VR包括一个从虚拟环境和用户条件中提取全面知识的管道，以实现准确的答案生成。为了确保高效的检索，RAG-VR将检索过程卸载到附近的边缘服务器，并在检索过程中仅使用关键信息。此外，我们训练检索器在与问题相关的相关、无关和难以区分的信息之间有效地区分。与两个基线系统相比，RAG-VR将答案准确性提高了17.9%-41.8%，并将端到端延迟降低了34.5%-47.3%。