arXiv:2502.01403v1 宣告类型: cross 摘要: 大型语言模型（LLMs）在自然语言处理（NLP）任务中取得了显著的成功，但它们庞大的内存需求给在资源受限的设备上部署带来了显著的挑战。奇异值分解（SVD）作为一种有潜力的压缩技术，为LLMs提供了显著的内存减少。然而，现有的基于SVD的方法通常难以有效解决SVD截断引入的误差，导致与原始模型相比存在明显的性能差距。此外，对所有变压器层采用统一的压缩比不能考虑各层的差异重要性。为了解决这些挑战，我们提出了一种适应性的SVD基大型语言模型压缩方法——AdaSVD。具体来说，AdaSVD引入了adaComp，通过交替更新奇异矩阵U和V^T来适应性地补偿SVD截断误差。此外，AdaSVD引入了adaCR，根据各层的相对重要性适应性地分配层特定的压缩比。在多个LLM家族和评价指标上的广泛实验表明，AdaSVD始终优于最新的基于SVD的方法，实现了显著降低内存需求的同时保持了更好的性能。相关代码和模型将在 https://github.com/ZHITENGLI/AdaSVD 提供。