arXiv:2410.14567v4 通告类型: replace-cross 摘要: 回忆增强生成（RAG）已成为大型语言模型（LLMs）的一个重要组成部分，特别是在对话AI系统中，用户的提问可能会参考LLMs训练截止之外的知识。然而，许多自然语言的用户提问缺乏明确的答案，要么是因为领域知识有限，要么是因为检索系统返回的文档看似相关但内容不提供必要的信息。在这种情况下，LLMs往往会生成虚构的答案而没有任何提示。尽管最近的工作主要集中在有错误前提的问题上，我们研究了超出范围的问题，即检索到的文档在语义上似乎与问题相似，但缺乏回答问题所需的必要信息。在这篇论文中，我们提出了一种引导虚构的方法ELOQ，用于从训练截止后的文档中自动生成多样化的超出范围的问题，然后通过人工验证确保质量。我们使用这一数据集评估几个LLM在其检测超出范围的问题并生成相应回答的能力。最后，我们介绍了一种改进的检测方法，以增强基于LLM的问题回答系统的可靠性，使其更好地处理超出范围的问题。