LLM2D
关于梯度消退、过度平滑和过度压缩在GNN中的问题:连接递归学习与图学习
On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning
作者: \'Alvaro Arroyo, Alessio Gravina, Benjamin Gutteridge, Federico Barbero, Claudio Gallicchio, Xiaowen Dong, Michael Bronstein, Pierre Vandergheynst
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10818v1

摘要

arXiv:2502.10818v1 类型:交叉 摘要:图神经网络(GNNs)是利用图结构在节点之间传递信息的模型,通常通过消息传递操作实现。虽然广为成功,但这种方法众所周知地会遭受过度平滑和过度压缩的现象,随着层数的增加,这两种现象会导致表示崩溃,并且分别对远处和连接较差的节点中包含的信息不够敏感。在本文中,我们通过消失梯度的角度,从线性控制理论的概念出发,统一地看待这些问题。我们提出了一种将GNNs解释为递归模型的视角,并通过简单的状态空间公式有效地解决了过平滑和过度压缩的问题,而无需额外的可训练参数。此外,我们从理论上和实验上证明了:(i) GNNs即使在几层之后,设计上也容易遭受极端的梯度消失;(ii) 过平滑直接与导致梯度消失的机制相关;(iii) 通过图重布和梯度消失缓解的结合,过度压缩最易于解决。我们认为我们的工作将有助于弥合递归和图神经网络文献之间的差距,并将为设计新的深层和高性能的GNNs解锁新的可能性。