LLM2D
利用联合预测嵌入和贝叶斯推断在图自监督学习中的应用
Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning
作者: Srinitish Srinivasan, Omkumar CU
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2502.01684v3

摘要

arXiv:2502.01684v3 通知类型: 替换交叉 摘要:图表示学习已成为节点分类和链接预测等任务的核心,然而现有的自监督学习(SSL)方法面临着计算效率低下、依赖对比目标以及表示崩溃的挑战。现有方法通常依赖特征重构、负采样或复杂的解码器,这引入了训练开销并妨碍了泛化能力。此外,现有的解决此类限制的技术未能考虑节点嵌入对未标记节点特定预测的贡献。为了应对这些挑战,我们提出了一种新颖的联合嵌入预测框架,用于图SSL,该框架消除了对比目标和负采样,同时保留了语义和结构信息。此外,我们引入了一种语义感知的目标项,该项结合了来自高斯混合模型(GMM)的伪标签,通过评估潜在特征贡献来增强节点的可分辨性。广泛的实验证明,我们的框架在基准上的性能优于现有的最先进的图SSL方法,且在没有对比损失或复杂解码器的情况下实现了更优的表现。关键创新包括(1)一种非对比、视图不变的联合嵌入预测架构,(2)利用子图之间的单一上下文与多个目标关系,以及(3)基于GMM的伪标签评分以捕捉语义贡献。本项工作通过提供一种计算效率高、抗表示崩溃的范式,促进了图SSL,该范式可以融合空间和语义图特征以供下游任务使用。我们的论文代码可以在 https://github.com/Deceptrax123/JPEB-GSSL找到。