LLM2D
AC-PKAN:Attention-增强和Chebyshev多项式基物理 informant柯尔莫哥洛夫-阿诺尔德网络
AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks
作者: Hangwei Zhang, Zhimu Huang, Yan Wang
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.08687v1

摘要

arXiv:2505.08687v1 宣告类型: cross 摘要: 科尔莫哥洛夫-阿诺尔德网络(KANs)最近在求解偏微分方程(PDEs)方面显示出潜力。然而,它们最初的表述在计算和内存方面都非常密集,因此引入了基于切比雪夫第一型的KANs(即Chebyshev1KANs)。尽管Chebyshev1KANs在小层KANs架构的表现上占据了上风,但我们的严格理论分析揭示出它们仍然存在秩坍缩的问题,最终限制了它们的表征能力。为了克服这些限制,我们通过将小波激活的MLP与可学习参数和内部注意机制相结合,对Chebyshev1KANs进行了增强。我们证明这种设计保持了满秩雅可比,并且能够近似任意阶数的PDE解。此外,为了解决切比雪夫多项式基引入的损失不稳定性和失衡问题,我们在外部分别引入了一个残差梯度注意力(RGA)机制,该机制能够根据梯度范数和残留量来动态地重新加权各个损失项。通过结合内部和外部注意力,我们提出了AC-PKAN这一创新架构,该架构构成了弱监督物理知情神经网络(PINNs)的改进,并扩展了KANs的表征能力。来自三个领域九项基准任务的实验结果表明,AC-PKAN始终优于或匹配PINNsFormer等最先进的模型,将它确立为在零数据或数据稀疏情况下解决复杂实际工程问题的强大工具。在接受后,代码将公开发布。