LLM2D
利用联合预测嵌入和贝叶斯推断在图自监督学习中的应用
Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning
作者: Srinitish Srinivasan, Omkumar CU
发布日期: 2/5/2025
arXiv ID: 2502.01684

摘要

arXiv:2502.01684v1 Announce Type: cross 摘要:图表示学习已经成为了节点分类和链接预测等任务的基石,然而现有的自监督学习(SSL)方法面临着诸如计算效率低、依赖对比目标、表示塌缩等问题的挑战。现有方法通常依赖特征重建、负样本采样或复杂的解码器,这增加了训练负担并阻碍了泛化能力。此外,目前解决这些限制的技术并未考虑到在没有标记节点的情况下节点嵌入对特定预测的贡献。为了解决这些限制,我们提出了一种新颖的联合嵌入预测框架,这种框架去除了对比目标和负样本采样,同时保留了语义和结构信息。此外,我们引入了一种基于语义感知的目标项,该项结合了从高斯混合模型(GMMs)中导出的伪标签,通过评估潜在特征贡献来增强节点的可区分性。广泛的实验表明,我们的框架在基准测试中优于现有的图SSL方法,无需对比损失或复杂解码器就能达到更好的性能。核心创新包括:(1)一种非对比、视图不变的联合嵌入预测架构;(2)利用子图之间的单个上下文和多个目标的关系;(3)基于GMM的伪标签评分以捕捉语义贡献。本文通过提供一种计算高效且具有抗塌缩性的框架,将空间和语义图特征结合起来,从而推动了图SSL的发展。我们的论文代码可以在 https://github.com/Deceptrax123/JPEB-GSSL 找到。