LLM2D
记忆不足:通过推理进行深层次知识注入
Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning
作者: Ruoxi Xu, Yunjie Ji, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Ben He, Yingfei Sun, Xiangang Li, Le Sun
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2504.00472v1

摘要

arXiv:2504.00472v1 动态类型:跨学科 摘要:尽管大型语言模型(LLMs)在知识回忆和推理方面表现出色,但由于其静态特性,在现实世界发生变化或适应领域特定知识时,会导致信息过时,突显了有效知识注入的必要性。然而,当前的知识注入研究仍然表面化,主要集中在知识的记忆和检索上。本文提出了一种四级知识注入框架,系统地界定了知识注入的层次:记忆、检索、推理和关联。基于此框架,我们引入了DeepKnowledge,这是一种合成的实验测试床,旨在对三种知识类型(新颖的、增量的和更新的)的知识注入深度进行细粒度评估。然后,我们探索了各种知识注入场景,并在基准测试上评估了每种场景的知识注入深度。实验结果揭示了使LLMs达到每种知识注入层次的关键因素,并建立了一个知识注入层次与相应适用注入方法之间的映射,旨在提供一种全面的方法,以在各种层次上高效地实现知识注入。