arXiv:2502.00604v1 交叉公告类型 摘要：通过复合损失函数进行多任务学习是现代深度学习的基础，然而优化相互竞争的目标依然极具挑战性。我们提出了处理损失项之间方向性冲突的新理论和实践方法，并展示了其在物理知情神经网络（PINNs）中的有效性，尤其是在PINNs中，这些冲突特别难以解决。通过理论分析，我们展示了这些冲突如何限制一阶方法，并表明二阶优化通过隐式梯度对齐自然地解决了它们。我们证明了一种最近提出的拟牛顿方法SOAP高效地近似了海森堡预条件矩阵，这在PINNs中实现了突破性的性能：在10个具有挑战性的PDE基准测试上的最优结果，包括首次成功应用于雷诺数高达10,000的湍流流动，其准确性的提升超过现有方法的2-10倍。我们还引入了一种新颖的梯度对齐分数，该分数将余弦相似性推广到多个梯度上，提供了一种分析优化动力学的实用工具。我们的发现为理解和解决梯度冲突建立了框架，并在超越科学计算的优化领域具有广泛的含义。