arXiv:2401.00529v2 通知类型: replace-cross 摘要: 我们介绍了GraphGPT，这是一种基于Graph Eulerian Transformer (GET)的新颖的自监督生成预训练图学习模型。首先，我们提出了GET，它将标准的变压器编码器或解码器架构与一种创新的图形到序列的转换方法相结合。这种方法使用欧拉路径以可逆的方式将图形或采样的子图形转换为表示节点、边和属性的令牌序列。我们使用两种自监督任务之一对GET进行预训练：下一标记预测 (NTP) 和定时掩码标记预测 (SMTP)。预训练模型随后可以针对下游任务进行微调，例如图级、边级和节点级预测。尽管架构简单，但GraphGPT在多个大规模Open Graph Benchmark (OGB) 数据集上的性能与现有的先进方法相当或超过现有方法。它在分子性质预测数据集PCQM4Mv2和蛋白质-蛋白质相互作用数据集ogbl-ppa上取得了出色的结果。值得注意的是，生成式预训练使GraphGPT能够扩展到20亿参数的同时保持性能提升，这是一项突破，克服了传统图神经网络 (GNN) 和先前图变压器 (GT) 的可扩展性限制。为了促进图基础模型领域的研究，并在化学、材料科学及相关领域促进科学发现，我们将发布源代码 (https://github.com/alibaba/graph-gpt) 和预训练检查点。