LLM2D
CriSPO:面向文本生成的基于多方面评价-建议的自动提示优化方法
CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation
作者: Han He, Qianchu Liu, Lei Xu, Chaitanya Shivade, Yi Zhang, Sundararajan Srinivasan, Katrin Kirchhoff
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02748v1

摘要

大型语言模型 (LLM) 可以使用提示技术跨领域生成流畅的摘要,减少了为摘要应用训练模型的需求。然而,设计能够引导 LLM 生成具有适当细节级别和写作风格的摘要的有效提示仍然是一个挑战。在本文中,我们探索了使用从源文档中提取的显着信息来增强摘要提示。我们表明,在提示中添加关键词可以提高 ROUGE F1 和召回率,使生成的摘要更接近参考摘要,并且更完整。关键词的数量可以控制精确度和召回率之间的权衡。此外,我们的分析表明,结合短语级别的显着信息优于词语级别或句子级别。然而,对幻觉的影响并非在所有 LLM 中都是积极的。为了进行这项分析,我们引入了关键词信号提取器 (CriSPO),这是一个轻量级模型,可以微调以提取显着的关键词。通过使用 CriSPO,我们在数据集以及开放权重和专有 LLM 上实现了持续的 ROUGE 提升,而无需任何 LLM 定制。我们的发现为利用显着信息构建基于提示的摘要系统提供了见解。