我们提出了一种名为“程序轨迹提示”的思维链（CoT）提示变体，它在保留 CoT 的强大功能、通用性和灵活性的同时，使解释更加可观察。在我们的方法中，少样本 CoT 演示被包装在一个基于 Python 的形式语法中，每个提示：识别和命名步骤；定义步骤的输入/输出行为；并用相同示例上这些形式化步骤的链替换上下文中示例的 CoT 解释。程序轨迹提示适用于许多任务，在 BIG-Bench Hard 基准的 23 个不同任务中取得了强劲的结果。更重要的是，通过以这种方式对解释进行仪器化，我们能够进行新的类型分析。特别是，我们确定了“非局部错误”（对应于错误地学习演示中说明的推理方法）作为 CoT 学习中尚未解决的问题，并且我们提出了验证 CoT 解释中步骤的模块化的方法。