摘要
求解偏微分方程 (PDE) 是许多科学和工程发现中一个重要且必不可少的组成部分。深度学习赋能的常见方法之一是物理信息神经网络 (PINN)。最近,提出了一种新型的基本神经网络模型——Kolmogorov-Arnold 网络 (KAN),作为多层感知器 (MLP) 的替代方案,并拥有可训练的激活函数。为了提高 KAN 在拟合精度方面的表现,有人建议对 KAN 进行修改,称为 ReLU-KAN,使用“ReLU 平方”作为其激活函数的基础。在本研究中,我们提出了另一种激活函数的基础,即高阶 ReLU (HR),它比 KAN 中使用的激活函数基础(即 B 样条)更简单;允许高效的 KAN 矩阵运算;并拥有平滑且非零的高阶导数,这对物理信息神经网络至关重要。我们将这种以高阶 ReLU (HR) 作为其激活函数的 KAN 称为 HRKAN。我们在两个著名的代表性 PDE 上进行了详细的实验,即线性泊松方程和具有粘度的非线性 Burgers 方程,结果表明我们提出的高阶 ReLU-KAN (HRKAN) 在 KAN、ReLU-KAN 和 HRKAN 中实现了最高的拟合精度和训练鲁棒性,以及最短的训练时间。用于复制我们实验的代码可在 https://github.com/kelvinhkcs/HRKAN 获取。