LLM2D
depth 全是你需要的?关于 LLMs 中迭代推理的探索
Is Depth All You Need? An Exploration of Iterative Reasoning in LLMs
作者: Zongqian Wu, Tianyu Li, Jiaying Yang, Mengmeng Zhan, Xiaofeng Zhu, Lei Feng
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10858v1

摘要

arXiv:2502.10858v1 任务类型:新 摘要:深度迭代的思考链(CoT)推理使大模型能够通过逐步激活相关先验知识来应对复杂任务。然而,它在确保持续改进和确定停止标准方面面临着挑战。在本文中,我们探讨了是否可以在初始推理路径中激活直接有助于解答给定问题的相关知识,从而绕过迭代精化的需要。我们的实验表明,增加初始推理路径的多样性可以实现相当或更优的效果,我们将其称为“宽广推理”。然而,现有的宽广推理方法,如自我一致性,提供的多样性有限。为了解决这一限制,我们提出了一种简单而有效的方法,通过结合上下文探索和减少采样随机性来增强推理的广度。广泛的实验表明,我们的方法显著优于深度迭代推理。我们的代码可在 https://github.com/zongqianwu/breadth 获取。