LLM2D
揭开MPNNs的神秘面纱:消息传递仅是高效矩阵乘法
Demystifying MPNNs: Message Passing as Merely Efficient Matrix Multiplication
作者: Qin Jiang, Chengjia Wang, Michael Lones, Wei Pang
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00140v1

摘要

arXiv:2502.00140v1 交叉公告类型 摘要:尽管图神经网络(GNNs)已经取得了显著的成功,但其设计主要依赖于经验直觉而非理论理解。在本文中,我们通过三个方面对GNN行为进行了全面分析:(1)我们证明$k$层消息传递神经网络通过迭代计算高效地通过$k$跳邻域信息进行聚合;(2)分析不同的循环结构如何影响邻域计算;(3)考察混合结构-特征和仅结构任务中的行为。对于更深的GNNs,我们展示了梯度相关问题,而不仅仅是过平滑,会对稀疏图中的性能产生重大影响。我们还分析了不同的归一化方案如何影响模型性能以及GNN在均匀节点特征下进行预测的方式,从而提供了一个理论框架,将实际成功与理论理解联系起来。