arXiv:2505.04955v1 Announce Type: cross 摘要：链式思维（CoT）要求大型语言模型（LLMs）在得出最终答案之前生成中间步骤，已被证明有助于解决复杂的推理任务。然而，CoT 的内在机制仍不清楚。在本文中，我们实证研究了CoT标记在两个组合任务（多位数乘法和动态规划）中的作用。尽管CoT对于解决这些问题至关重要，但我们发现，仅保留存储中间结果的标记即可实现相似的性能。此外，我们观察到以另一种潜在形式存储中间结果不会影响模型性能。我们还随机干预了一些CoT标记的值，并注意到后续的CoT标记和最终答案会相应地发生变化。这些发现表明，CoT标记可能类似于计算机程序中的变量，但也可能存在未预见的捷径和标记之间的计算复杂性限制等潜在问题。完整代码和数据可在 https://github.com/solitaryzero/CoTs_are_Variables 获取。