arXiv:2504.03137v1 公告类型: 新 摘要: 大语言模型（LLMs）在文本理解和零样本推理方面表现出色。然而，知识更新的延迟可能导致它们推理错误或产生有害结果。知识图谱（KGs）通过结构化组织和连接广泛范围的实体和关系，为LLMs的推理过程提供了丰富的可靠上下文信息。现有的基于KG的LLM推理方法仅以文本形式将KG的知识注入提示，而忽略了其结构信息。此外，它们主要依赖于闭源模型或具有大量参数的大规模开源模型，这提出了高资源消耗的挑战。为了解决这个问题，我们提出了一种新的轻量级高效提示学习-推理框架（LightPROF），它以参数高效的方式利用LLMs来应对复杂的推理任务。具体来说，LightPROF 遵循“检索-嵌入-推理”过程，首先通过检索模块准确且稳定地从KG中检索相应的推理图。接着，通过基于Transformer的知识适配器，它精细提取并整合KG中的事实和结构信息，然后将这些信息映射到LLM的词元嵌入空间，生成一个LLM友好的提示供LLM最终推理使用。此外，LightPROF 只需要训练知识适配器，可以与任何开源LLM兼容。在两个公开的KGQA基准上的广泛实验表明，LightPROF 使用小型LLM实现了优越的性能。此外，LightPROF 在输入词元计数和推理时间方面显示出了显著的优势。