arXiv:2502.02508v1 类别: cross 摘要：大规模语言模型（LLMs）在各种领域展示了卓越的推理能力。近期研究表明，增加测试时计算可以增强LLMs的推理能力。这通常涉及在推理时由外部LLM验证器指导的大量采样，从而形成一个两阶段系统。尽管有外部指导，该系统的有效性展示了单一LLM解决复杂任务的潜力。因此，我们提出了一个新的研究问题：我们是否可以将搜索能力内化，从根本上增强单一LLM的推理能力？这项工作探索了一个独立的方向，专注于训练后的LLM进行自回归搜索（即，一个带有自我反思和探索新策略的扩展推理过程）。为了实现这一点，我们提出了Action-Thought Chain（ATC）推理和一个两阶段训练框架：1）一个小规模格式调整阶段，以内化ATC推理格式；2）一个利用强化学习的大规模自我改进阶段。我们的方法产生了Satori，一个在开源模型和数据上训练的7B LLM。广泛的实证评估表明，Satori在数学推理基准测试中达到了最先进的性能，并且在领域外任务上表现出强大的泛化能力。代码、数据和模型将完全开源。