LLM2D
当上下文引导而参数记忆在大型语言模型中跟随时
When Context Leads but Parametric Memory Follows in Large Language Models
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.08435v2

摘要

大型语言模型(LLMs)在利用多样化的知识来源方面展示了显著的进展。本研究调查了九种广泛使用的LLMs在知识一致性场景下回答开放性问题时如何在本地上下文和全局参数之间分配知识。我们引入了一个新数据集,WikiAtomic,并系统地变化上下文大小,以分析LLMs在知识一致性场景下如何优先使用和利用提供的信息以及其参数化知识。此外,我们还研究了它们在不同上下文大小下产生幻觉的倾向。我们的研究结果揭示了模型之间的一致模式,包括对上下文(约70%)和参数化知识(约30%)的持续依赖,以及随着上下文增加,幻觉现象的减少。这些见解突显了更有效的上下文组织和开发更确定性使用输入的模型对于稳健性能的重要性。