arXiv:2407.12101v2 宣布类型：替换-交叉 摘要：扩展大型语言模型（LLMs）的常用方法是检索增强生成（RAG），它通过将从更大记忆中检索到的文字插入到LLM的上下文窗口中来实现。然而，上下文窗口通常限于数千个标记，这限制了能够用于指导模型响应的检索段落数量。因此，通过确保检索到的段落之间具有一定的多样性来避免占用上下文窗口的空间是非常重要的。同时，这些信息也应该与当前任务相关。大多数鼓励检索结果多样性的方法，如最大边际相关性（MMR），都是通过引入一个明确权衡多样性和相关性的目标来实现的。我们提出了一种基于相关信息增益的新颖简单的优化指标，这是一种适用于一组检索结果的查询相关总信息量的概率度量。通过优化这一指标，多样性自然地从我们的系统中涌现出来。当作为RAG系统的检索组件的即插即用替换时，该方法在检索增强生成基准（RGB）的质量问答任务上取得了最佳性能，超过了直接优化多样性和相关性的现有指标。