arXiv:2504.16968v2 Announce Type: replace-cross 摘要：大型语言模型（LLMs）的快速发展推动了训练完成后参数压缩的广泛研究，但训练过程中参数压缩却较少被探索。本文介绍了一种基于速率-失真优化（RDO）的新颖训练时压缩方法——BackSlash。BackSlash能够在模型准确性和复杂性之间提供灵活的权衡，显著减少参数冗余同时保持性能。在各种架构和任务的实验中证明，BackSlash可以在不损失准确性的前提下减少60% - 90%的内存使用，并且与训练完成后压缩相比提供了显著的压缩增益。此外，BackSlash具有极高的通用性：它利用较小的拉格朗日乘数增强泛化能力，提高模型修剪的鲁棒性（即使在80%的修剪率下仍保持准确性），并能简化网络以加速边缘设备上的推理。