本文探究了大型语言模型 (LLMs) 在面对推理任务时是否会主动回忆或检索其内部的知识库。通过分析知识神经元在每个推理步骤中 LLMs 内部事实回忆的情况，我们发现 LLMs 在某些情况下无法利用关键的事实关联。相反，它们倾向于选择替代的捷径式路径来回答推理问题。通过手动操控 LLMs 中参数化知识的回忆过程，我们证明了增强这种回忆过程直接提高了推理性能，而抑制它则会导致显着下降。此外，我们评估了思维链 (CoT) 提示的效果，这是一种解决复杂推理任务的强大技术。我们的发现表明，CoT 可以通过鼓励 LLMs 进行有序且可靠的推理来加强对事实知识的回忆。此外，我们探索了语境冲突如何影响推理过程中事实的检索，以全面了解 LLMs 的事实回忆行为。代码和数据将很快提供。