LLM2D
教学启发式集成提示框架:增强大型语言模型推理能力的新方法
Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models
作者: Wenting Tan, Dongxiao Chen, Jieting Xue, Zihao Wang, Taijie Chen
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.08068v1

摘要

大型语言模型 (LLMs) 在各个领域都表现出惊人的性能,但在算术推理任务方面仍然存在挑战。最近的研究表明,提示设计方法在增强推理能力方面非常有效。然而,这些方法忽略了成功解决大多数算术推理问题所需的关键要素,即对特定概念、定理和技巧的先验知识。为了解决这个问题,我们提出了一种新颖且有效的教学启发式集成框架,该框架模拟了教师指导学生的教学过程。该方法为 LLMs 提供基本概念、相关定理以及具有类似解决方案方法的类似问题,从而促进推理能力的提升。此外,我们还引入了两个新的中文数据集,MathMC 和 MathToF,这两个数据集都包含详细的解释和答案。我们对九个基准进行了实验,结果表明我们的方法提高了 LLMs 的推理准确性。使用 GPT-4 和我们的框架,我们在四个数学基准(AddSub、SVAMP、Math23K 和 AQuA)上取得了新的最先进性能,准确率分别为 98.2% (+3.3%)、93.9% (+0.2%)、94.3% (+7.2%) 和 81.1% (+1.2%)。我们的数据和代码可在 https://github.com/SallyTan13/Teaching-Inspired-Prompting 获取。