LLM2D
用于增强和加速少样本节点分类的快速图锐度感知最小化
Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification
作者: Yihong Luo, Yuhan Chen, Siya Qiu, Yiwei Wang, Chen Zhang, Yan Zhou, Xiaochun Cao, Jing Tang
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16845v1

摘要

图神经网络 (GNN) 在节点分类任务中表现出优越的性能。然而,GNN 在少样本节点分类 (FSNC) 任务中的表现不佳,该任务需要强大的泛化能力才能对具有有限标签的未见类别进行准确预测。为了应对这一挑战,我们提出将锐度感知最小化 (SAM)——一种旨在通过寻找损失函数景观的平坦最小值来增强模型泛化能力的技术——集成到 GNN 训练中。然而,标准 SAM 方法在每次训练迭代中包含两个前向后向步骤,与基础优化器(例如,Adam)相比,计算成本增加了一倍。为了减轻这一缺点,我们引入了一种新颖的算法,快速图锐度感知最小化 (FGSAM),它将多层感知器 (MLP) 的快速训练与 GNN 的优越性能相结合。具体来说,我们利用 GNN 进行参数扰动,同时利用 MLP 来最小化扰动损失,以便我们可以更有效地找到具有良好泛化能力的平坦最小值。此外,我们的方法重新利用扰动阶段的梯度,将图拓扑几乎以零额外成本融入最小化过程。为了进一步提高训练效率,我们开发了 FGSAM+,它定期执行精确扰动。大量的实验表明,我们提出的算法在 FSNC 任务中以较低的计算成本优于标准 SAM。特别是,我们的 FGSAM+ 作为 SAM 的一种变体,在大多数情况下比基础优化器提供更快的优化速度。除了 FSNC 之外,我们提出的方法还在异质图的标准节点分类任务中也表现出具有竞争力的性能,突出了其广泛的适用性。代码可在 https://github.com/draym28/FGSAM_NeurIPS24 获取。