arXiv:2501.16371v2 宣布类型: 替换-交叉 摘要: 物理知情神经网络（Physics-Informed Neural Networks，PINNs）通过将偏微分方程（PDEs）整合到神经网络的训练过程中作为软约束，革新了PDE解的计算，成为科学机器学习（SciML）生态系统中的重要组成部分。最近，物理知情的柯尔莫哥洛夫-阿诺尔德网络（Physics-Informed Kolmogorv-Arnold networks，PIKANs）也显示出与PINNs相当且准确度相似的效果。在当前实现中，PINNs和PIKANs主要使用Adam等一阶方法以及BFGS及其低内存变体L-BFGS等拟牛顿方法进行优化。然而，这些优化器通常难以处理高度非线性和非凸的损失景观，导致诸如收敛速度慢、局部最小值陷阱和鞍点（非）退化等问题。在本研究中，我们探讨了Self-Scaled BFGS（SSBFGS）方法、Self-Scaled Broyden（SSBroyden）方法以及其他先进的拟牛顿方案，包括使用不同线搜索策略的BFGS和L-BFGS。这些方法基于历史梯度信息动态调整更新，从而提高了训练效率和准确性。我们系统地比较了这些优化器——使用PINNs和PIKANs——在关键的线性、刚性、多尺度和非线性PDEs上的表现，包括Burgers方程、Allen-Cahn方程、Kuramoto-Sivashinsky方程和Ginzburg-Landau方程。我们的发现提供了在不使用自适应权重或其他通常在PINNs中使用的增强技术的情况下，实现最先进的结果，并且在准确度方面提高了多个数量级。更广泛地说，我们的结果揭示了二阶优化策略在显著提高PINNs和PIKANs的收敛性和准确泛化能力方面的重要作用。