arXiv:2504.20752v2 宣告类型: replace-cross 摘要：_transformers 在众多自然语言处理 (NLP) 任务中取得了巨大成功，但仍然在多步骤事实推理方面表现出明显的不足，尤其是在现实世界知识稀少的情况下。最近在理解 (Grokking) 方面的进步表明，一旦神经网络检测到潜在的逻辑模式，它们就可以从记忆过渡到完美泛化；然而，这些研究主要使用的是小型、合成任务。本文首次将理解扩展到实际世界的事实数据，并通过将精心设计的合成数据添加到现有的知识图中，增加了推断事实与原子事实的比例 \(\phi_r\)，使其超过理解所需的阈值，从而解决了数据集稀疏性的挑战。令人惊讶的是，我们发现即使合成数据本身事实不正确，也能增强涌现的推理电路，而不是降低准确性，因为这使得模型依赖于关系结构而不是记忆。在多跳推理基准测试中，我们的方法在2WikiMultiHopQA 上达到了 95-100% 的准确率，显著优于强大的基线，并且与当前的最先进的结果相匹配或超过。我们进一步深入分析了增加 \(\phi_r\) 如何推动 Transformer 内部泛化电路的形成。我们的研究结果表明，基于理解的数据增强可以解锁隐含的多跳推理能力，从而为大型语言模型中的更强健和可解释的事实推理打开大门。_