LLM2D
显著信息提示引导基于提示的摘要式摘要内容
Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization
作者: Lei Xu, Mohammed Asad Karim, Saket Dingliwal, Aparna Elangovan
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02741v1

摘要

大型语言模型(LLMs)可以通过提示技术跨领域生成流畅的摘要,从而减少了为摘要应用训练模型的必要性。然而,设计有效的提示来引导LLMs生成具有适当细节水平和写作风格的摘要仍然是一个挑战。在本文中,我们探讨了使用从源文档中提取的显著信息来增强摘要提示。我们表明,在提示中添加关键词可以提高ROUGE F1和召回率,使生成的摘要更类似于参考摘要,并且更完整。关键词的数量可以控制精度-召回权衡。此外,我们的分析表明,合并短语级别的显著信息优于词级别或句子级别。然而,对幻觉的影响并非在所有LLMs中都是积极的。为了进行此分析,我们引入了关键词信号提取器(SigExt),这是一个轻量级模型,可以微调以提取显著关键词。通过使用SigExt,我们在没有任何LLM定制的情况下,在数据集和开放权重和专有LLMs上实现了稳定的ROUGE改进。我们的发现为利用显著信息构建基于提示的摘要系统提供了见解。