LLM2D
PEA: 提升计算推理任务中语言模型性能
PEA: Enhancing LLM Performance on Computational-Reasoning Tasks
作者: Zi Wang, Shiwei Weng, Mohannad Alhanahnah, Somesh Jha, Tom Reps
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10938v1

摘要

arXiv:2502.10938v1 声明类型: 新 摘要:大型语言模型(LLMs)在各个领域展现了非凡的能力,促使人们探索它们作为通用推理引擎的潜力。虽然最近的研究探讨了推理时的计算以增强模型在复杂问题上的性能,但当前研究缺乏一个正式框架来表征推理任务的复杂性。本研究引入了谓词枚举聚合(PEA)框架,这是一种描述和解决一类称为计算推理问题的重要推理任务的正式方法。PEA框架将这些问题分解为谓词和枚举组件,使用LLMs基于指定的谓词、枚举和聚合规则合成程序。这些合成程序随后被执行以解决计算任务。我们在布尔可满足性问题、24点游戏以及规划问题等基准任务上展示了该框架的有效性。实证评估表明,PEA显著提升了底层模型在基准计算问题上的性能,平均准确率提高了约50%,同时提高了效率。