LLM2D
揭示图神经网络中的模式连通性
Unveiling Mode Connectivity in Graph Neural Networks
作者: Bingheng Li, Zhikai Chen, Haoyu Han, Shenglai Zeng, Jingzhe Liu, Jiliang Tang
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2502.12608v1

摘要

arXiv:2502.12608v1 交叉类别公告类型 摘要:理解图神经网络(GNNs)的基本挑战在于刻画其优化动力学和损失景观几何,这对于提高可解释性和鲁棒性至关重要。虽然模式连通性(mode connectivity)作为一种分析损失景观几何特性的视角,在其他深度学习架构中已被证明具有启发性,但其对GNNs的影响仍未被探索。本文首次对GNN中的模式连通性进行了研究。我们发现,GNNs表现出独特的非线性模式连通性,与完全连接网络或CNN中观察到的模式不同。关键的是,我们证明了图结构而不是模型架构主宰了这种行为,图属性如同质性与模式连通性模式相关。进一步地,我们建立了模式连通性与泛化之间的联系,提出了基于损失障碍的泛化界,并揭示其作为诊断工具的实用性。我们的发现进一步将理论见解与实践应用相结合:它们为图学习中的领域对齐策略提供了一个合理解释,并为改进GNN训练范式奠定了基础。