arXiv:2502.07316v2 宣告类型：交叉 摘要：推理是大型语言模型的基本能力。尽管先前的研究主要集中在增强如数学或代码生成等狭窄技能上，但由于训练数据稀疏且分散，提高在许多其他推理任务上的表现仍然具有挑战性。为了解决这一问题，我们提出了CodeI/O，这是一种新颖的方法，通过将原始代码转换为代码输入-输出预测格式，系统地浓缩嵌入在上下文相关代码中的多种推理模式。通过训练模型以自然语言作为链式思考（CoT）推理的方式来预测给定代码和测试案例的输入/输出，我们向它们暴露了通用的推理基础，如逻辑流程规划、状态空间搜索、决策树遍历和模块化分解，同时将结构化推理与代码特定的语法解耦，并保持程序的严谨性。实验结果表明，CodeI/O 在符号、科学、逻辑、数学与数值及常识性推理任务中均带来了持续的改进。通过匹配现有的ground-truth输出或使用预测输入重新执行代码，我们可以验证每个预测，并通过多轮修订进一步增强CoTs，从而生成CodeI/O++ 并实现更高的性能。我们的数据和模型可在 https://github.com/hkust-nlp/CodeIO 获取。