摘要
arXiv:2404.19756v5 宣传类型: 替换交叉
摘要:受柯莫哥洛夫-阿诺尔德表示定理的启发,我们提出了柯莫哥洛夫-阿诺尔德网络(KANs)作为多层感知机(MLPs)的有希望的替代方案。尽管MLPs在节点(“神经元”)上具有固定的激活函数,KANs在边(“权重”)上具有可学习的激活函数。KANs完全没有线性权重——每个权重参数均由一个参数化的样条函数替换。我们展示了这种看似简单的变更使得KANs在准确性和可解释性方面超过了MLPs。在准确度方面,比MLPs大得多的KANs可以在数据拟合和偏微分方程求解中获得相当或更好的准确度。从理论和经验来看,KANs具有比MLPs更快的神经网络缩放法则。在可解释性方面,KANs可以直观地可视化并很容易与用户互动。通过两个数学和物理领域的例子,人们展示了KANs作为科学家(重新)发现数学和物理定律的有益合作者的作用。总之,KANs是MLPs的有希望的替代方案,为正在大量依赖MLPs的今天深度学习模型的进一步改进提供了机会。