arXiv:2504.07624v1 通知类型: cross 摘要: 在 recent 过去，检索增强生成 (RAG) 获得了越来越多的关注，而大型语言模型 (LLMs) 的最新进展强调了将世界知识集成到这些系统中的重要性。当前的 RAG 方法论通常修改预训练语言模型 (PLMs) 的内部架构，或者依赖于知识图 (KGs) 的文本化，这种做法在 tokens 使用方面效率低下。本文介绍了一种名为 ConceptFormer 的新方法，该方法可以在不更改 LLM 的内部结构的情况下，利用 KGs，如 Wikidata，提供结构化知识，同时不需要依赖 KGs 的文本输入。ConceptFormer 在 LLM 的嵌入向量空间中运行，创建并注入封装 KG 节点信息的概念向量。它与冻结的 LLM 共同训练，生成一个完整的查找表，将 KG 节点映射到相应的概念向量。该方法旨在通过使 LLM 能够 natively 处理这些概念向量来增强其事实检索能力，从而以高效且可扩展的方式为它们增添结构化世界知识。我们的实验表明，将概念向量添加到 GPT-2 0.1B 在测试来自 Wikipedia 和合成生成句子时，其事实检索能力（Hit@10）分别提高了 272% 和 348%。即使在提示中仅注入一个概念向量，其在 Wikipedia 句子上的事实检索能力（Hit@10）也提高了 213%，这一性能显著优于使用图文本化的 RAG，同时使用的输入 tokens 只有其 1/130。