LLM2D
学习思考:通过图学习 bootstrap LLM 的推理能力
Learn to Think: Bootstrapping LLM Reasoning Capability Through Graph Learning
作者: Hang Gao, Chenhao Zhang, Tie Wang, Junsuo Zhao, Fengge Wu, Changwen Zheng, Huaping Liu
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.06321v1

摘要

arXiv:2505.06321v1 类型: cross 摘要:大型语言模型(LLMs)在各个领域已取得显著成果。然而,它们仍面临重大挑战,包括训练时高昂的计算成本以及解决复杂推理问题的局限性。尽管现有方法通过结构化范式扩展了LLMs的推理能力,但这些方法通常依赖于特定任务的提示和预定义的推理过程,这限制了它们的灵活性和通用性。为应对这些限制,我们提出了一种新型框架,利用图学习来增强LLMs的更灵活和适应性的推理能力。具体而言,这种方法将问题的推理过程建模为图,并利用基于LLM的图学习来引导每个推理步骤的自适应生成。为了进一步增强模型的适应性,我们引入了一个图神经网络(GNN)模块,在生成的推理过程中进行表示学习,从而实现实时调整模型和提示。实验结果表明,这种方法在多个任务中显著提高了推理性能,而无需额外的训练或特定任务的提示设计。相关代码可以在https://github.com/zch65458525/L2T找到。