摘要
少样本链式思维(CoT)提示已在提高大型语言模型(LLM)的推理能力方面展现出强大的性能。虽然已经进行了理论研究来理解CoT,但这些研究中使用的底层Transformer将CoT推理过程隔离到分离的上下文学习步骤(逐步ICL)中。在这项工作中,我们从理论上证明,与逐步ICL相比,如果将早期步骤的推理(连贯CoT)整合起来,Transformer将获得更好的纠错能力和更准确的预测。鉴于这种连贯的推理会改变Transformer的行为,我们进一步研究了在推理阶段演示示例被破坏时,具有连贯CoT的Transformer的敏感性。我们的理论结果表明,Transformer对中间推理步骤中的错误比对最终结果更敏感。基于这一观察结果,我们通过在演示中结合正确和错误的推理路径来改进CoT。我们的实验验证了所提出方法的有效性。