LLM2D
CreDes:基于大型语言模型的因果推理增强与双端搜索解决长程推理问题
CreDes: Causal Reasoning Enhancement and Dual-End Searching for Solving Long-Range Reasoning Problems using LLMs
作者: Kangsheng Wang, Xiao Zhang, Hao Liu, Songde Han, Huimin Ma, Tianyu Hu
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01696v1

摘要

大型语言模型(LLMs)在处理涉及长程推理的组合优化问题方面表现出局限性,部分原因在于因果幻觉和巨大的搜索空间。针对因果幻觉,即推理与相应状态转换之间不一致的问题,本文引入了因果关系增强 (CRE) 机制,该机制结合了因果干预和个体处理效应 (ITE),以确保推理和状态转换每一步之间的因果正确性。针对长因果范围和巨大搜索空间限制了现有模型的性能(这些模型具有单向搜索的特点),本文提出了双端搜索 (DES) 方法,通过同时从因果概率树的初始状态和目标状态开始来寻找解决方案。通过整合 CRE 和 DES(CreDes),我们的模型实现了多步推理,绕过了像思维链 (CoT) 那样级联多个单步推理带来的低效。实验表明,在长程推理任务中,CreDes 在准确性和时间效率方面显著优于现有的最先进 (SOTA) 解决方案。