摘要
许多优化问题都需要平衡多个相互冲突的目标。由于梯度下降法仅限于单目标优化,我们引入了其直接推广:雅可比下降法 (JD)。该算法使用向量值目标函数的雅可比矩阵迭代更新参数,其中每一行都是单个目标的梯度。尽管文献中已经存在几种组合梯度的方法,但它们在目标冲突时通常会受到阻碍。相比之下,我们提出将梯度投影到完全解决冲突,同时确保它们保持与其范数成比例的影响力。我们用实证结果证明了这种方法具有明显更强的收敛保证。我们的方法还使实例级风险最小化 (IWRM) 成为可能,这是一种新的学习范式,其中每个训练样本的损失被视为一个独立的目标。应用于简单的图像分类任务,与直接最小化平均损失相比,IWRM 表现出有希望的结果。此外,我们概述了使用雅可比矩阵的格拉姆矩阵来减少时间和内存需求的 JD 的有效实现。