LLM2D
神经符号集成流水线:增强大型语言模型的空间推理能力
A Pipeline of Neural-Symbolic Integration to Enhance Spatial Reasoning in Large Language Models
作者: Rong Wang, Kun Sun, Jonas Kuhn
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18564v1

摘要

大型语言模型 (LLM) 在各种任务中展现出令人印象深刻的能力。然而,LLM 常常难以进行空间推理,而空间推理是推理和推断的一个重要组成部分,需要理解空间中物体之间复杂的关系。本文提出了一种新颖的神经符号框架,以增强LLM的空间推理能力。我们在两个基准数据集上评估了我们的方法:StepGame 和 SparQA,并实现了三种不同的策略:(1) 基于答案集编程 (ASP) 的符号推理;(2) 使用 DSPy 的 LLM + ASP 管道;(3) 事实 + 逻辑规则。我们的实验表明,与基线提示方法相比,该方法取得了显著的改进,在 StepGame 数据集上的准确率提高了 40-50%,在更复杂的 SparQA 数据集上提高了 3-13%。"LLM + ASP" 管道在寻找关系 (FR) 和寻找块 (FB) 问题任务上取得了特别好的结果,尽管性能在不同类型的题型中有所不同。令人印象深刻的结果表明,虽然神经符号方法为增强 LLM 的空间推理能力提供了有前景的方向,但其有效性在很大程度上取决于具体的任务特征和实现策略。我们提出了一种集成、简单而有效的策略集,使用神经符号管道来增强LLM的空间推理能力。这种管道及其策略证明了其在LLM其他推理领域(如时间推理、演绎推理等)的强大和更广泛的适用性。