arXiv:2502.04667v2 宣告类型: replace-cross 摘要：将显式的链式思考（CoT）推理纳入大型语言模型（LLMs）的训练中，已经增强了它们的推理能力，但CoT如何提升泛化能力的具体机制仍然不够理解。本文探讨了（1）**CoT训练如何重塑内部模型表示**以及（2）**为什么它能够同时改善分布内（ID）和分布外（OOD）推理的泛化能力**。通过受控实验和理论分析，我们得出以下关键洞察。 **1)** 结构优势：CoT训练将推理内化为一个两阶段的泛化电路，其中阶段的数量对应于训练期间的明确推理步骤。值得注意的是，与非CoT同侪相比，CoT训练的模型在较浅的层中求解中间结果，从而使较深的层专门化于后续的推理步骤。**2)** 理论分析：通过分布差异的信息论泛化界限可以分解为ID和OOD两部分。尽管针对充足训练，ID错误无论是否有CoT都会减少，但OOD错误严重依赖于CoT：非CoT训练由于无法识别未见过的推理模式而无法泛化到OOD样本，而CoT训练通过在训练过程中掌握子任务和推理组合，实现了接近完美的OOD泛化。所识别的机制解释了我们的实验结果：CoT训练加速了收敛，并增强了从ID到ID和OOD场景的泛化，即使在可容忍的噪声下也能保持稳健性能。这些发现也在复杂的现实世界数据集上得到了进一步验证。本文为设计增强LLM推理稳健性的CoT策略提供了宝贵的见解。