arXiv:2501.16371v3 通知类型: replace-cross 摘要: 物理知情神经网络(PINNs)通过将偏微分方程(PDEs)纳入神经网络的训练过程中作为软约束，颠覆了PDE解的计算，成为科学机器学习(SciML)生态系统中的重要组成部分。近年来，物理知情柯尔莫哥洛夫-阿诺尔德网络(PIKANs)也显示出与PINNs相当且准确的结果。在当前实现中，PINNs和PIKANs主要使用Adam等一阶方法以及BFGS及其低内存变体L-BFGS等拟牛顿方法进行优化。然而，这些优化器在高度非线性和非凸的损失景观中常常表现不佳，导致诸如收敛速度慢、局部极小值陷阱和鞍点问题等挑战。在本研究中，我们研究了自缩放BFGS(SSBFGS)、自缩放鲍尔丁(SSBroyden)方法以及其他先进的拟牛顿方案，包括带有不同线搜索策略的BFGS和L-BFGS。这些方法根据历史梯度信息动态调整更新，从而提高训练效率和准确性。我们系统地比较了这些优化器——使用PINNs和PIKANs——在关键的线性、刚性、多尺度和非线性PDEs上的表现，包括伯格斯方程、艾伦-卡斯方程、库拉莫托-西瓦辛斯基方程和辛格堡-朗道方程。我们的研究结果在不使用自适应权重或其他PINNs常用的增强技术的情况下，提供了最先进的结果，大幅提高了准确性。更为广泛地说，我们的结果揭示了二阶优化策略在显著改善PINNs和PIKANs的收敛性和精确泛化能力方面的有效性。