摘要
arXiv:2505.00019v1 通告类型: 交叉
摘要: 提示工程使大型语言模型(LLMs)能够执行多种任务。然而,冗长的提示显著增加了计算复杂性和经济成本。为了解决这个问题,我们研究了六种LLM提示压缩方法,旨在在保持LLM回应质量的同时减少提示长度。在这篇论文中,我们对生成性能、模型幻视、多模态任务的有效性、词汇省略分析等方面进行了全面分析。我们在这13个数据集中评估了这些方法,包括新闻、科技文章、常识问答、数学问答、长语境问答和VQA数据集。我们的实验表明,在长语境中,提示压缩对LLM性能的影响比短语境更大。在Longbench评估中,适度压缩甚至还能提高LLM性能。我们的代码和数据可在 https://github.com/3DAgentWorld/Toolkit-for-Prompt-Compression 获得。