arXiv:2502.10867v1 公告类型: 新闻 摘要: OpenAI o1 表明，在推断过程中直接应用强化学习整合推理步骤可以显著提高模型的推理能力。这一结果令人兴奋，因为领域正从传统的自回归方法生成答案过渡到通过逐步推理训练来模拟慢思考过程的更加谨慎的方法。强化学习在模型的训练和解码过程中发挥着关键作用。本文中，我们提出了一种全面的推理问题形式化方法，并探讨了基于模型和非基于模型方法的使用，以更好地支持这种慢思考框架。