LLM2D
结合类比增强生成与程序记忆用于程序问答
Pairing Analogy-Augmented Generation with Procedural Memory for Procedural Q&A
作者: K Roth, Rushil Gupta, Simon Halle, Bang Liu
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2409.01344v2

摘要

大型语言模型在处理复杂程序化任务时,难以将分散的信息综合成连贯的计划。本研究提出了一种用于此类程序化知识的新颖形式化方法和结构。基于此形式化方法,我们提出了一种名为LCStep的新型程序化知识数据集,该数据集由LangChain教程创建。为了利用这些程序化知识来解决新的任务,我们提出了类比增强生成(AAG)方法,该方法借鉴了人类将过去经验用于解决陌生问题的能力。AAG使用自定义的程序存储库来检索和调整特定领域的知识,以回答新的程序化任务。我们证明,在基于成对LLM的评估下,AAG在LCStep、RecipeNLG和CHAMP数据集上的性能优于少样本学习和RAG基线方法,RecipeNLG案例中的人工评估也证实了这一点。