摘要
多任务排序模型已成为现代现实世界推荐系统的核心。虽然大多数推荐研究集中于针对特定场景设计复杂的模型,但跨各种场景提高多任务排序模型的性能仍然是一个重大挑战。对所有任务进行简单训练会导致学习不一致,突出了开发多任务优化 (MTO) 方法以应对这一挑战的必要性。传统方法假设共享参数上的最佳联合梯度会导致最佳参数更新。然而,当使用基于动量的优化器(如 Adam)时,模型参数的实际更新可能会与梯度有很大偏差,我们设计并执行了统计实验来支持这一观察结果。在本文中,我们提出了一种用于多任务优化的新型参数更新平衡算法,称为 PUB。与基于梯度级任务融合或损失级任务融合的传统 MTO 方法相比,PUB 是第一个通过参数更新平衡来优化多个任务的工作。在基准多任务排序数据集上的综合实验表明,PUB 一致地改善了多个多任务骨干,并取得了最先进的性能。此外,在基准计算机视觉数据集上的实验表明,PUB 在各种多任务学习场景中具有巨大潜力。此外,我们在华为应用市场这一现实世界的商业平台上对我们的方法进行了工业评估,其中 PUB 显着增强了在线多任务排序模型,有效地管理了关键渠道的主要流量。