LLM2D
HetGPT:利用预训练异构图神经网络中的提示调优威力
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks
作者: Yihong Ma, Ning Yan, Jiayu Li, Masood Mortazavi, Nitesh V. Chawla
发布日期: 2/6/2025
arXiv ID: oai:arXiv.org:2310.15318v4

摘要

arXiv:2310.15318v4 Announce Type: replace-cross 摘要:图已经成为了代表和分析互联网的复杂模式和丰富信息的自然选择,使诸如在线页面分类和社会推荐之类的应用成为可能。盛行的“预训练、微调”范式在图机器学习任务中被广泛应用,特别是在带标签节点数量有限的场景中。然而,这种方法往往会在预训练辅助任务的训练目标与下游任务的训练目标之间表现出错位。这个差距可能导致“负迁移”问题,即预训练获得的知识会反作用于下游任务的性能。自然语言处理(NLP)中基于提示的学习热潮表明,可以将“预训练、提示”范式适应到图上作为一种替代方案是有潜力的。然而,现有的图提示技术仅针对同质图设计,忽视了Web图的内在异质性。为了解决这一问题,我们提出了HetGPT,这是一种通用的后训练提示框架,旨在提高预训练异质图神经网络(HGNNs)的预测性能。关键在于设计了一种新的提示函数,该函数结合了虚拟类提示和异质特征提示,旨在重新构建下游任务以模仿预训练辅助任务。此外,HetGPT 引入了一种多视图邻域聚合机制,用于捕捉异质图中的复杂邻域结构。三项基准数据集上的广泛实验表明,HetGPT 有能力提升最新HGNNs在半监督节点分类任务上的性能。