arXiv:2504.10917v1 类型: cross 摘要: 近年来，在大规模预训练方面的进展表明，可以学习适用于下游任务的一般化表示。然而，在图域中，跨越不同图域捕获和转移结构性信息依然具有挑战性，主要原因在于各种上下文中的拓扑模式固有的差异。此外，大多数现有模型难以捕获复杂的图结构，导致嵌入空间的探索不足。为了解决这些挑战，我们提出了GFSE（通用图结构编码器），一种旨在捕获跨越多种领域（如分子图、社交网络和引文网络）的可转移结构模式的图结构编码器。GFSE是第一个使用多种自监督学习目标进行跨域图结构预训练的编码器。依托于图变换器，GFSE整合了受图归纳偏差启发的注意力机制，使其能够编码复杂的多层次和精细的拓扑特征。经过预训练的GFSE生成了通用且理论表达性的位置和结构编码，可以无缝集成到各种下游图特征编码器中，包括用于向量化特征的图神经网络和用于文本标注图的语言大模型。综合实验表明，GFSE能够显著提高模型的性能，同时需要较少的任务特定微调。值得注意的是，GFSE在81.6%的评估案例中达到了最先进的性能，涵盖了多种图模型和数据集，突显了其作为强大且多功能的图结构数据编码器的潜力。