我们提出了一种名为程序轨迹提示的思维链 (CoT) 提示变体，它在保留 CoT 的强大功能、通用性和灵活性的同时，使解释更易于观察。在我们的方法中，少量样本 CoT 演示被包装在基于 Python 的正式语法中，每个提示：识别和命名步骤；定义步骤的输入/输出行为；并将上下文示例中 CoT 解释替换为在相同示例上这些形式化步骤的链。程序轨迹提示适用于许多任务，在 BIG-Bench Hard 基准测试中的 23 个不同任务上取得了显著的成果。更重要的是，通过以这种方式对解释进行检测，我们能够进行新的类型分析。特别是，我们识别出“非局部错误”（对应于错误地学习演示中说明的推理方法）作为 CoT 学习中一个尚未解决的问题，并且我们提出了验证 CoT 解释中步骤的模块化的方法。