arXiv:2504.02620v1 宣告类型: cross 摘要：任务算术已成为通过将任务特定知识表示为可组合的任务向量来编辑模型的一种有前途的方法。然而，现有的方法依赖于网络线性化来推导任务向量，这在训练和推理过程中导致了计算瓶颈。此外，仅线性化并不能保证权重的分离，这是使任务向量冲突自由组合的关键性质。为了解决这一问题，我们提出了一种TaLoS方法，该方法可以在无需显式线性化且不频繁跨任务共享信息的情况下构建稀疏任务向量，从而实现最小干扰。我们发现预训练模型中包含了一组在所有任务中梯度敏感性始终较低的参数，并且仅更新这些参数可以促进在微调过程中权重的分离。我们的实验表明，TaLoS在提高训练和推理效率的同时，在任务添加和否定方面优于现有方法。通过允许模块化参数编辑，我们的方法促进了可适应基础模型在实际应用中的实际部署。