arXiv:2502.11439v1 Announce Type: cross 摘要：微调是将基础模型，例如大型语言模型适应下游任务的重要步骤。为了使这一步骤对预算有限的用户提供更多便利，开发高效且内存消耗小的微调方法至关重要。稀疏微调（SFT）和低秩适应（LoRA）是为解决这一问题而出现的两种框架，并且已经被广泛应用于实际中。在此项工作中，我们开发了一种新的SFT框架，该框架基于神经网络剪枝的思想。总体而言，我们首先使用网络剪枝中的特征重要性度量（特别是我们使用结构剪枝方法）来识别“重要”的神经元/节点，然后通过限制涉及这些神经元的权重来进行微调。通过在常见语言任务上的实验，我们证明了我们的方法在不增加训练时间复杂性和实现复杂性的前提下，显著提高了SFT的内存效率，同时能达到与LoRA及其变体的领先方法相当的准确性。