摘要
arXiv:2411.17296v2 通知类型: 替换-交叉
摘要:图变换器(GTs)在图表示学习方面已经展现出超过流行图神经网络(GNNs)的出色性能。然而,作为GTs的核心模块,自我注意力仅保留图特征中的低频信号,这导致无法捕捉其他重要的信号,如高频信号。一些最新的GT模型有助于缓解这一问题,但它们的学习灵活性和表达能力仍然有限,因为它们学到的滤波器在预定义的图频谱或顺序上是固定的。为了应对这一挑战,我们提出了一种图傅里叶柯尔莫哥罗夫-阿诺尔德变换器(GrokFormer),这是一种新颖的GT模型,通过傅里叶级数模型来学习具有自适应图频谱和顺序的高表达性谱滤波器,该模型使用可学习的激活函数。我们从理论上和实验上证明,提出的GrokFormer滤波器的表达能力优于其他谱方法。在来自不同领域、不同规模和图特性的10个真实节点分类数据集以及5个图分类数据集上的全面实验中,GrokFormer表现出色,超越了现有的最先进GTs和GNNs。我们的代码可在 https://github.com/GGA23/GrokFormer 获取。