LLM2D
基于LLM、推理和规划支持在API存在下的不完整用户查询
LLM+Reasoning+Planning for Supporting Incomplete User Queries in Presence of APIs
作者: Sudhir Agarwal (Intuit Inc.), Anu Sreepathy (Intuit Inc.), David H. Alonso (Intuit Inc.), Prarit Lamba (Intuit Inc.)
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2405.12433v3

摘要

arXiv:2405.12433v3 宣告类型: 替换 摘要: 近期大规模语言模型(LLMs)的可用性促进了针对各种终端用户任务的语言界面开发。这些终端用户任务通常可以通过协调一组给定的API来完成。实际上,自然语言任务请求(用户查询)往往不完整,即它们可能不包含API所需的所有信息。虽然LLMs在自然语言处理(NLP)任务上表现出色,但在填补缺失信息或协调API方面时常出现困难或挣扎。我们提出的方法的关键思想是结合逻辑推理和经典AI规划,以及使用LLM来准确回答用户的查询,包括识别和收集这些查询中的任何缺失信息。该方法使用LLM和ASP(回答集编程)求解器通过ASP的中间表示将用户查询转换为计划领域定义语言(PDDL)的表示。我们引入了一个特殊的API "get_info_api" 用于收集缺失信息。我们以支持API之间数据流的方式将所有API建模为PDDL操作。然后,该方法使用经典的AI规划器生成API调用的编排(包括对get_info_api的调用)来回答用户查询。我们的评估结果显示,在包含完整和不完整单目标和多目标查询的数据集中,我们的方法显著优于纯LLM方法,在大多数情况下实现了超过95%的成功率,其中的多目标查询可能或可能不需要API之间的数据流。