arXiv:2504.02181v1 宣布类型: 新论文 摘要：大型语言模型（LLMs）的快速发展极大地增强了它们的推理能力，这得益于各种策略，如多agent协作。然而，与通过扩展数据量和模型规模实现的性能提升不同，LLMs推理的扩展更为复杂，甚至可能对推理性能产生负面影响，从而引发新的模型对齐和稳健性挑战。在这篇综述中，我们对LLMs推理的扩展进行了全面的检查，将其分类为多个维度，并分析了不同扩展策略在多大程度上提高了推理能力。我们首先探讨了输入规模的扩展，这使得LLMs能够处理和利用更广泛的上下文以改进推理。接下来，我们分析了推理步骤的扩展，这有助于多步推理和逻辑一致性。然后，我们研究了推理轮次的扩展，其中迭代交互可以改进推理结果。此外，我们讨论了通过迭代模型改进实现的训练增强推理，重点探讨了优化方法。最后，我们回顾了跨领域的扩展应用，并概述了进一步推进LLMs推理的未来方向。通过综合这些不同的视角，这篇综述旨在提供关于如何基本增强LLMs推理能力的见解，并进一步指导下一代AI系统的开发。