arXiv:2504.01738v1 类型: cross 摘要：专有的推理语言模型（RLMs）已经表明，通过详细的推理跟踪扩展测试时的计算显著提升了性能。尽管这些跟踪有效促进了知识向较小的指令调整模型中的传递，但传递的推理精确的本质仍然不明确。在本研究中，我们调查了萃取模型在推理过程中内化复制的风格模式的程度。为此，我们系统地分析了推理跟踪，识别出能够表征成功推理的结构和词汇模式。然后，我们引入了两个新的数据集——一个新兴推理跟踪数据集和一个明确构建以复制这些风格模式的合成数据集，以精确检查这些模式对萃取模型推理能力的影响。我们发现，使用合成跟踪训练的模型达到了相当的性能，表明萃取的推理能力在很大程度上依赖于表面模式。令人惊讶的是，即使将合成跟踪修改以导致错误的答案，我们仍观察到性能有所提高。我们的研究结果突显了如何利用风格模式来有效地提升不同模型家族中LM的推理能力。