LLM2D
重新思考分词图形变换器在节点分类中的应用
Rethinking Tokenized Graph Transformers for Node Classification
作者: Jinsong Chen, Chenyang Li, GaiChao Li, John E. Hopcroft, Kun He
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08101v1

摘要

arXiv:2502.08101v1 跨域类型:cross 摘要:节点令牌化图变换器(GTs)在节点分类任务中展示了令人鼓舞的性能。现有的令牌化GTs中的令牌序列生成模块是关键组件,它将输入图转换为令牌序列,通过变换器促进节点表示学习。在这项工作中,我们观察到,现有的GTs中令牌序列的生成仅关注构建的相似性图中的邻近节点,这导致节点生成多样化的令牌序列的使用有限,进一步限制了令牌化GTs在节点分类中的潜力。为了解决这一问题,我们提出了一种名为SwapGT的新方法。SwapGT首先引入了一种基于令牌序列特性的新颖令牌交换操作,充分利用节点的语义相关性,生成更具信息量的令牌序列。然后,SwapGT利用基于变换器的骨干网络从生成的令牌序列中学习节点表示。此外,SwapGT开发了一种中心对齐损失,以约束从多个令牌序列中学习表示,进一步增强了模型性能。各种数据集上的大量实验证明了SwapGT在节点分类中的优越性。