arXiv:2502.17419v3 公告类型: 替换 摘要: 实现人类水平的智能需要从快速的直觉系统1向更慢的、更具斟酌性的系统2推理过渡。尽管系统1在快速、启发式的决策方面表现出色，系统2则依赖于逻辑推理以获得更准确的判断并减少偏见。基础大语言模型（LLMs）在快速决策方面表现出色，但缺乏进行复杂推理的深度，因为在系统2思考特有的逐步分析方面它们尚未充分采用。最近，如OpenAI的o1/o3和DeepSeek的R1等推理LLMs在数学和编程等领域的表现达到了专家级别的水平，紧密地模仿了系统2的审慎推理方式，并展示出了类似人类的认知能力。本文综述从基础LLMs的进步和早期系统2技术的发展开始，探讨了它们结合的方式如何为推理LLMs铺平道路。接下来，我们讨论了如何构建推理LLMs，分析了它们的特征、实现高级推理的核心方法以及各种推理LLMs的演变。此外，我们概述了推理基准，提供了代表性推理LLMs性能的深入比较。最后，我们探讨了推进推理LLMs的有希望方向，并保持了一个实时的\href{https://github.com/zzli2022/Awesome-Slow-Reason-System}{GitHub Repository}以追踪最新发展。我们希望这篇综述能成为有价值的资源，激发创新并推动这一快速演变领域的发展。