LLM2D
大型语言模型中的知识机制:综述与展望
Knowledge Mechanisms in Large Language Models: A Survey and Perspective
作者: Mengru Wang, Yunzhi Yao, Ziwen Xu, Shuofei Qiao, Shumin Deng, Peng Wang, Xiang Chen, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2407.15017v3

摘要

理解大型语言模型 (LLM) 中的知识机制对于推动可信赖的通用人工智能 (AGI) 的发展至关重要。本文从一个新的分类法回顾了知识机制分析,包括知识利用和演化。知识利用深入探讨了记忆、理解、应用和创造机制。知识演化侧重于单个和群体 LLM 中知识的动态演变过程。此外,我们还讨论了 LLM 学习到的知识,参数化知识脆弱性的原因,以及可能难以解决的潜在的黑暗知识(假设)。我们希望这项工作能够帮助理解 LLM 中的知识,并为未来的研究提供见解。