摘要
arXiv:2505.10347v1 交叉公告类型
摘要:专门的多任务优化器(SMTOs)通过解决冲突梯度和梯度范数差异等问题,在多任务学习中平衡任务学习,从而克服了等权重训练任务的障碍。然而,近期的批评指出,等权重的任务可以与SMTOs达到竞争力的结果,并且早前的SMTO结果可能受到了较差的超参数优化和缺乏正则化的影响。在这项工作中,我们通过在更复杂多任务问题上广泛的经验评估,包括最新的方法,来评估这些观点,以澄清这种行为。我们的发现表明,与均匀损失相比,SMTOs表现出色;固定权重也可以与SMTOs达到竞争力的表现。此外,我们展示了在某些情况下,均匀损失为何能与SMTOs表现相似的原因。该代码将公开提供。