LLM2D
大型语言模型中演绎推理和归纳推理的作用
The Role of Deductive and Inductive Reasoning in Large Language Models
作者: Chengkun Cai, Xu Zhao, Haoliang Liu, Zhongyu Jiang, Tianfang Zhang, Zongkai Wu, Jenq-Neng Hwang, Lei Li
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02892v1

摘要

大型语言模型 (LLM) 在人工智能领域取得了长足进步,特别是在推理任务方面。然而,它们对静态提示结构的依赖以及有限的动态推理能力,往往限制了它们对复杂且不断变化的问题空间的适应性。本文提出了一种演绎和归纳 (DID) 方法,该方法通过在提示构建过程中动态整合演绎和归纳推理来增强 LLM 推理能力。DID 方法借鉴了认知科学的灵感,模仿了人类自适应推理机制,提供了一个灵活的框架,使模型能够根据任务上下文和性能调整其推理路径。我们在 AIW 和 MR-GSM8K 等已建立的数据集以及我们自定义的数据集 Holiday Puzzle 上对 DID 的有效性进行了实证验证,该数据集提出了关于不同节日日期计算挑战的任务。通过利用 DID 的混合提示策略,我们证明了在不增加大量计算开销的情况下,在解决方案准确性和推理质量方面都取得了显著改进。我们的发现表明,DID 为 LLM 中的推理提供了一个更健壮且认知一致的框架,有助于开发受认知科学模型启发的先进的 LLM 驱动的解决问题策略。