LLM2D
统一损失函数与专门化优化:多任务学习中的 comparative analysis
Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning
作者: Gabriel S. Gama, Valdir Grassi Jr
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.10347v1

摘要

arXiv:2505.10347v1 交叉公告类型 摘要:专门的多任务优化器(SMTOs)通过解决冲突梯度和梯度范数差异等问题,在多任务学习中平衡任务学习,从而克服了等权重训练任务的障碍。然而,近期的批评指出,等权重的任务可以与SMTOs达到竞争力的结果,并且早前的SMTO结果可能受到了较差的超参数优化和缺乏正则化的影响。在这项工作中,我们通过在更复杂多任务问题上广泛的经验评估,包括最新的方法,来评估这些观点,以澄清这种行为。我们的发现表明,与均匀损失相比,SMTOs表现出色;固定权重也可以与SMTOs达到竞争力的表现。此外,我们展示了在某些情况下,均匀损失为何能与SMTOs表现相似的原因。该代码将公开提供。