arXiv:2502.11513v1 宣告类型: cross 摘要: 大型语言模型在各种任务中展现了卓越的能力，但它们的微调需要大量的内存，这在资源受限的环境中构成了挑战。零阶（ZO）优化提供了一种内存高效的替代方案，因为它消除了反向传播的需求。然而，ZO优化存在梯度方差高的问题，之前的研究主要集中在单任务学习上，而对多任务学习的应用则鲜有涉及。多任务学习对于利用任务间的共享知识以提高泛化能力至关重要，但在ZO设置下它也带来了独特的挑战，比如梯度方差放大和共线性。本文介绍了MaZO，这是首个专为ZO优化环境下多任务LLM微调设计的框架。MaZO通过两个关键创新从参数层面解决这些挑战：一个权重重要性度量来识别关键参数，以及一个多任务权重更新掩码来选择性地更新这些参数，从而减少参数空间的维度并缓解任务冲突。实验结果表明，MaZO达到了最先进的性能，甚至超越了为一阶优化设计的多任务学习方法。