LLM2D
奇妙的多任务梯度更新及如何在锥中寻找它们
Fantastic Multi-Task Gradient Updates and How to Find Them In a Cone
作者: Negar Hassanpour, Muhammad Kamran Janjua, Kunlin Zhang, Sepehr Lavasani, Xiaowen Zhang, Chunhua Zhou, Chao Gao
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00217v1

摘要

arXiv:2502.00217v1 类型: cross 摘要:在多任务学习(MTL)中平衡竞争目标仍然是一个基本的挑战,主要是由于各个任务之间存在冲突的梯度。一种常见的解决方案是计算一个动态梯度更新向量,随着优化过程的进行来平衡竞争任务。在此基础上,我们提出了锥面梯度(ConicGrad)方法,这是一种既原理清晰、扩展性强且鲁棒的MTL方法,被形成为带约束的优化问题。该方法引入了一个角度约束,动态调节梯度更新方向,将它们限制在一个以整体目标参考梯度为中心的圆锥内。通过在不过度约束其方向或幅度的情况下平衡任务特定的梯度,ConicGrad有效地解决了任务间的梯度冲突。此外,我们的框架确保了计算效率,并能够扩展到高维参数空间。我们在标准的监督学习和强化学习MTL基准上进行了广泛的实验,并展示了ConicGrad在各种任务上均实现了最先进的性能。