arXiv:2502.15132v1 声明类型：cross 摘要：我们引入了CoT-ICL Lab，这是一种框架和方法论，用于生成合成标记数据集，并系统地研究语言模型中的链式思维（CoT）内省学习（ICL）。CoT-ICL Lab通过解耦（1）链式令牌生成中涉及的因果结构与（2）底层令牌处理函数，实现了对内省示例复杂性的细粒度控制。我们使用这些数据集训练仅解码器变换器（最多700M参数），并展示了随着模型规模的增大，CoT能够加速准确性提升。特别是，我们发现对于有限的内省示例，模型深度对于利用CoT至关重要，而更多的示例可以使浅层模型达到深层模型的性能。此外，在训练过程中限制令牌处理函数的多样性可以提高通过ICL的学习因果结构。我们还通过分析变换器嵌入和注意图解释了这些转变。总体而言，CoT-ICL Lab为语言模型中的ICL和CoT的理论和实证洞察提供了一个简单而强大的实验平台。