LLM2D
基于脚本生成的、面向任务的提示增强
Task-oriented Prompt Enhancement via Script Generation
作者: Chung-Yu Wang, Alireza DaghighFarsoodeh, Hung Viet Pham
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16418v1

摘要

大型语言模型 (LLM) 在各种任务中展现出非凡的能力,利用先进的推理能力。然而,由于缺乏对任务答案的特定先验知识,它们在面向任务的提示方面存在困难。目前最先进的方法 PAL 利用代码生成来解决这个问题。然而,PAL 依赖于手动制作的提示模板和示例,同时仍然产生不准确的结果。在这项工作中,我们提出了 TITAN——一种旨在增强 LLM 在面向任务的提示方面的性能的新策略。TITAN 通过使用通用方法和零样本学习生成脚本来实现这一目标。与现有方法不同,TITAN 消除了对详细的任务特定指令和大量手动工作的需求。TITAN 通过在简化流程中利用 LLMs 的分析和代码生成能力,增强了 LLM 在各种任务中的性能。TITAN 采用两种关键技术:(1) 回退提示,以提取任务的输入规范;(2) 思维链提示,以识别所需的程序步骤。这些信息被用来改进 LLM 的代码生成过程。TITAN 通过后处理进一步细化生成的脚本,并执行脚本以检索最终答案。我们全面的评估证明了 TITAN 在各种任务中的有效性。平均而言,TITAN 在与 GPT-3.5 和 GPT-4 配合使用时,比最先进的零样本方法分别高出 7.6% 和 3.9%。总的来说,在没有人工标注的情况下,TITAN 在 11 个案例中的 8 个案例中取得了最先进的性能,而在 3 个案例中仅略微落后于少样本方法(需要人工干预),差距很小。这项工作代表了在解决面向任务的提示方面取得的重大进展,为有效利用 LLM 完成日常生活任务提供了一种新颖的解决方案。