LLM2D
深度全是你需要的吗?关于LLMs中迭代推理的探索
Is Depth All You Need? An Exploration of Iterative Reasoning in LLMs
作者: Zongqian Wu, Tianyu Li, Baoduo Xu, Jiaying Yang, Mengmeng Zhan, Xiaofeng Zhu, Lei Feng
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10858v2

摘要

arXiv:2502.10858v2 类型: 新闻 摘要: 深度迭代链式思维(CoT)推理使大语言模型能够通过逐步激活相关先验知识来应对复杂任务。然而,它面临确保持续改进和确定停止标准的挑战。在这篇论文中,我们探讨了初始推理路径是否能够激活直接解决给定问题的相关知识,从而绕过迭代精炼的需要。我们的实验表明,增加初始推理路径的多样性可以实现相当或更优的性能,这一概念我们称之为“广度推理”。然而,现有的广度推理方法,如自我一致性,提供的多样性有限。为了解决这一局限,我们提出了一种简单而有效的方法,通过结合上下文探索和减少采样随机性来增强推理广度。广泛的实验表明,我们的方法显著优于深度迭代推理。我们的代码可以在 https://github.com/zongqianwu/breadth 提供。