LLM2D
GrokFormer:图傅里叶柯尔莫哥洛夫-阿诺德变换器
GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers
作者: Guoguo Ai, Guansong Pang, Hezhe Qiao, Yuan Gao, Hui Yan
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17296v1

摘要

图变换器 (GTs) 在将各种图结构信息(例如,长程结构依赖性)融入图表示学习方面表现出了卓越的性能。然而,GTs 的核心模块——自注意力机制——仅保留图特征上的低频信号,只保留捕捉连接节点之间相似特征的同质模式。因此,它在建模复杂的节点标签模式(例如,同质模式的反面——异质模式)方面能力不足。一些改进型的 GTs 通过学习多项式滤波器或在一次图谱上进行自注意力来解决这个问题。然而,这些 GTs 要么忽略了整个谱中包含的丰富信息,要么忽略了高阶谱信息,导致其谱滤波器的灵活性有限,频率响应不足。为了解决这些挑战,我们提出了一种新颖的 GT 网络,即图傅里叶 Kolmogorov-Arnold 变换器 (GrokFormer),以超越 GTs 中的自注意力机制。GrokFormer 利用在 K 阶图谱中的可学习激活函数通过傅里叶级数建模来 i) 学习针对特征值的滤波器函数,生成可学习的基,能够灵活地捕捉广泛的频率信号;以及 ii) 自适应地提取一阶和高阶图谱信息。通过这样做,GrokFormer 可以有效地捕捉隐藏在不同阶数和频率信号级别上的复杂模式,学习表达性强、阶数和频率自适应的图表示。在 10 个跨不同领域、规模和图异质性水平的节点分类数据集以及 5 个图分类数据集上进行的综合实验表明,GrokFormer 的性能优于最先进的 GTs 和其他高级图神经网络。