LLM2D
大型语言模型在隐式推理中并非逐步思考
LLMs Do Not Think Step-by-step In Implicit Reasoning
作者: Yijiong Yu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15862v1

摘要

链式思维已被证明可以显著提升大型语言模型(LLM)在复杂任务上的性能。然而,由于链式思维还会导致推理速度变慢和计算成本增加,许多研究尝试使用隐式链式思维,这种方法不需要LLM显式地生成中间步骤。但其有效性与典型的显式链式思维方法之间仍然存在差距。这让我们产生疑问:隐式链式思维真的等同于显式链式思维吗?因此,在本研究中,我们通过实验来解答这个问题。我们探究了模型在执行隐式链式思维时,从其隐藏状态中获得的中间步骤信息。结果令人惊讶地表明,LLM几乎不会思考中间步骤,这表明它们可能仅仅依赖经验而不是严格的逐步推理。此外,我们发现LLM的隐式推理能力易受影响且不稳定,这再次肯定了显式链式思维对于有效支持复杂任务的必要性。