摘要
求解偏微分方程 (PDE) 是许多科学和工程发现的重要且必不可少的组成部分。深度学习赋能的一种常见方法是物理信息神经网络 (PINN)。最近,一种新型的基础神经网络模型——科尔莫哥洛夫-阿诺德网络 (KAN) 被提出作为多层感知器 (MLP) 的替代方案,并拥有可训练的激活函数。为了提高 KAN 在拟合精度方面的表现,有人建议对 KAN 进行修改,称为 ReLU-KAN,使用“ReLU 的平方”作为其激活函数的基础。在本研究中,我们提出了另一种激活函数的基础,即高阶 ReLU (HR),它比 KAN 中使用的激活函数基础(即 B 样条)更简单;允许高效的 KAN 矩阵运算;并拥有光滑且非零的高阶导数,这对物理信息神经网络至关重要。我们将使用高阶 ReLU (HR) 作为其激活函数的 KAN 称为 HRKAN。我们在两个著名且具有代表性的 PDE 上进行的详细实验,即线性泊松方程和具有粘性的非线性 Burgers 方程,表明我们提出的高阶 ReLU-KAN (HRKAN) 在 KAN、ReLU-KAN 和 HRKAN 中获得了最高的拟合精度和训练鲁棒性,以及显著更短的训练时间。用于复制我们实验的代码可在 https://github.com/kelvinhkcs/HRKAN 获取。