摘要
大型语言模型(LLMs)可以通过提示技术跨领域生成流畅的摘要,从而减少了为摘要应用训练模型的必要性。然而,设计有效的提示来引导LLMs生成具有适当细节水平和写作风格的摘要仍然是一个挑战。在本文中,我们探讨了使用从源文档中提取的显著信息来增强摘要提示。我们表明,在提示中添加关键词可以提高ROUGE F1和召回率,使生成的摘要更类似于参考摘要,并且更完整。关键词的数量可以控制精度-召回权衡。此外,我们的分析表明,合并短语级别的显著信息优于词级别或句子级别。然而,对幻觉的影响并非在所有LLMs中都是积极的。为了进行此分析,我们引入了关键词信号提取器(SigExt),这是一个轻量级模型,可以微调以提取显著关键词。通过使用SigExt,我们在没有任何LLM定制的情况下,在数据集和开放权重和专有LLMs上实现了稳定的ROUGE改进。我们的发现为利用显著信息构建基于提示的摘要系统提供了见解。