arXiv:2504.12982v1 类型: cross 摘要：大规模语言模型（LLMs）的普及显著提升了信息检索系统，特别是在响应生成（RG）方面。不幸的是，LLMs 经常在内部记忆与检索的外部信息之间遇到知识冲突，这些冲突源自错误信息、偏见或过时的知识。这些冲突削弱了响应的可靠性，并在决策过程中引入了不确定性。在本文中，我们从信息论的角度分析了LLMs如何处理知识冲突，并发现当冲突信息和补充信息之间存在显著差异时，LLMs会自信地做出偏好选择。然而，当区分是模糊不清时，LLMs会经历更高的不确定性。基于这一洞察，我们提出了一种名为Swin-VIB的新框架，该框架将变分信息瓶颈模型管道集成到检索信息的适应性增强中，并指导LLMs在响应生成中的偏好。通过对单选项、开放式问题-答案（QA）以及检索增强生成（RAG）的广泛实验验证了我们的理论发现，并展示了Swin-VIB的有效性。值得注意的是，我们的方法在单选项任务上的准确率比竞争对手的基础方法提高了至少7.54%。