摘要
arXiv:2502.00217v1 类型: cross
摘要:在多任务学习(MTL)中平衡竞争目标仍然是一个基本的挑战,主要是由于各个任务之间存在冲突的梯度。一种常见的解决方案是计算一个动态梯度更新向量,随着优化过程的进行来平衡竞争任务。在此基础上,我们提出了锥面梯度(ConicGrad)方法,这是一种既原理清晰、扩展性强且鲁棒的MTL方法,被形成为带约束的优化问题。该方法引入了一个角度约束,动态调节梯度更新方向,将它们限制在一个以整体目标参考梯度为中心的圆锥内。通过在不过度约束其方向或幅度的情况下平衡任务特定的梯度,ConicGrad有效地解决了任务间的梯度冲突。此外,我们的框架确保了计算效率,并能够扩展到高维参数空间。我们在标准的监督学习和强化学习MTL基准上进行了广泛的实验,并展示了ConicGrad在各种任务上均实现了最先进的性能。