arXiv:2406.16232v3 公告类型: replace-cross 摘要：许多优化问题需要平衡多个相互冲突的目标。由于梯度下降仅适用于单目标优化，我们引入了其直接泛化：雅可比下降（JD）。该算法通过迭代使用向量值目标函数的雅可比矩阵来更新参数，其中每一行是单个目标的梯度。虽然文献中已存在几种组合梯度的方法，但当目标相互冲突时，这些方法通常会受到限制。相比之下，我们提出了一种投影梯度的方法，以完全解决冲突同时确保梯度保留与其范数成比例的影响。借助这一方法，我们取得了显著更强的收敛性保证，并得到了实验结果的支持。我们的方法还使实例化风险最小化（IWRM）成为可能，这是一种新的学习范式，在此范式中，每个训练样本的损失被视为一个单独的目标。将IWRM应用于简单的图像分类任务，其结果相比于直接最小化平均损失有令人鼓舞的表现。此外，我们概述了使用雅可比矩阵的Gramian进行JD的有效实现，以减少时间和内存要求。