检索增强语言模型 (RALMs) 代表了大型语言模型能力的重大进步，特别是在通过利用外部知识来源来减少事实幻觉方面。然而，检索信息的可靠性并不总是得到保证。检索无关数据会导致误导性的响应，并可能导致模型忽视其固有知识，即使它拥有足够的知识来处理查询。此外，标准 RALMs 通常难以评估它们是否拥有足够的知识（无论是内在的还是检索的）来提供准确的答案。在知识不足的情况下，这些系统应该理想地在答案无法获得时以“未知”的方式响应。为了应对这些挑战，我们引入了链式笔记 (CoN)，这是一种新方法，旨在提高 RALMs 在面对噪声、无关文档以及处理未知情况时的鲁棒性。CoN 的核心思想是为检索到的文档生成顺序阅读笔记，从而能够彻底评估其与给定问题的相关性，并将此信息整合起来以形成最终答案。我们使用 ChatGPT 创建了 CoN 的训练数据，随后在 LLaMa-2 7B 模型上对其进行了训练。我们在四个开放域问答基准上的实验表明，配备了 CoN 的 RALMs 显著优于标准 RALMs。值得注意的是，在给定完全噪声的检索文档的情况下，CoN 在 EM 分数上平均提高了 +7.9，在超出预训练知识范围的实时问题中，拒绝率提高了 +10.5。