摘要
大型语言模型(LLMs)在处理涉及长程推理的组合优化问题方面表现出局限性,部分原因在于因果幻觉和巨大的搜索空间。针对因果幻觉,即推理与相应状态转换之间不一致的问题,本文引入了因果关系增强 (CRE) 机制,该机制结合了因果干预和个体处理效应 (ITE),以确保推理和状态转换每一步之间的因果正确性。针对长因果范围和巨大搜索空间限制了现有模型的性能(这些模型具有单向搜索的特点),本文提出了双端搜索 (DES) 方法,通过同时从因果概率树的初始状态和目标状态开始来寻找解决方案。通过整合 CRE 和 DES(CreDes),我们的模型实现了多步推理,绕过了像思维链 (CoT) 那样级联多个单步推理带来的低效。实验表明,在长程推理任务中,CreDes 在准确性和时间效率方面显著优于现有的最先进 (SOTA) 解决方案。