LLM2D
基于大型语言模型的推理与规划:支持存在 API 时的不完整用户查询
LLM+Reasoning+Planning for supporting incomplete user queries in presence of APIs
作者: Sudhir Agarwal, Anu Sreepathy, David H. Alonso, Prarit Lamba
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2405.12433v2

摘要

大型语言模型 (LLM) 的出现促使人们开发了许多基于 LLM 的方法,旨在为各种终端用户任务提供自然语言界面。这些终端用户任务反过来通常可以通过协调一组给定的 API 来完成。在实践中,自然语言任务请求(用户查询)往往是不完整的,即它们可能不包含 API 所需的所有信息。虽然 LLM 在自然语言处理 (NLP) 任务方面表现出色,但它们经常在缺失信息上出现幻觉或难以协调 API。我们提出的方法背后的关键思想是利用逻辑推理和经典人工智能规划以及 LLM 来准确地回答用户查询,包括识别和收集这些查询中任何缺失的信息。我们的方法使用 LLM 和 ASP(答案集编程)求解器通过 ASP 中的中间表示将用户查询转换为规划域定义语言 (PDDL) 中的表示。我们引入了一个特殊的 API “get_info_api” 用于收集缺失的信息。我们将所有 API 建模为 PDDL 动作,以支持 API 之间的数据流。然后,我们的方法使用经典的人工智能规划器来生成 API 调用的协调(包括对 get_info_api 的调用)以回答用户查询。我们的评估结果表明,我们的方法在大多数情况下显着优于纯基于 LLM 的方法,在包含完整和不完整单目标和多目标查询的数据集上实现了超过 95% 的成功率,其中多目标查询可能需要或不需要 API 之间的数据流。