LLM2D
大型语言模型中提示压缩的实证研究
An Empirical Study on Prompt Compression for Large Language Models
作者: Zheng Zhang, Jinyi Li, Yihuai Lan, Xiang Wang, Hao Wang
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2505.00019v1

摘要

arXiv:2505.00019v1 通告类型: 交叉 摘要: 提示工程使大型语言模型(LLMs)能够执行多种任务。然而,冗长的提示显著增加了计算复杂性和经济成本。为了解决这个问题,我们研究了六种LLM提示压缩方法,旨在在保持LLM回应质量的同时减少提示长度。在这篇论文中,我们对生成性能、模型幻视、多模态任务的有效性、词汇省略分析等方面进行了全面分析。我们在这13个数据集中评估了这些方法,包括新闻、科技文章、常识问答、数学问答、长语境问答和VQA数据集。我们的实验表明,在长语境中,提示压缩对LLM性能的影响比短语境更大。在Longbench评估中,适度压缩甚至还能提高LLM性能。我们的代码和数据可在 https://github.com/3DAgentWorld/Toolkit-for-Prompt-Compression 获得。