大型语言模型（LLMs）展示了令人印象深刻的语言理解和生成能力，使它们能够回答跨多个领域的广泛问题。然而，这些模型并非完美无缺，常常产生包含错误或误导信息的回答。这些不准确性，通常被称为幻觉，使得LLMs在许多场景中变得不可靠甚至无法使用。本文的重点是减轻LLMs在问答情境中的幻觉问题。我们不试图回答所有问题，而是探索一种拒绝机制，指导LLMs拒绝回答具有挑战性的问题以避免错误。随后，我们提出了一种简单而有效的解决方案，称为“学会拒绝”（L2R），该方案结合了拒绝机制，使LLMs能够识别并拒绝回答它们认为难以处理的问题。为此，我们利用一个结构化的知识库来表示LLMs对世界的所有理解，使其能够提供可追溯的黄金知识。该知识库独立于LLM，最初为空，可以填充经过验证的知识并逐步扩展。当LLM遇到其领域之外的问题时，系统识别其知识范围并确定是否可以独立回答该问题。此外，我们引入了一种自动且高效扩展LLMs知识库的方法。通过定性和定量分析，我们证明了我们的方法增强了LLMs的可控性和可靠性。