arXiv:2410.13798v2 宣告类型: replace-cross 摘要：Transformer 是基础模型的核心架构，其中领域特定的分词器使它们能够适应各种领域。图变压器（GTs）最近在几何深度学习中崭露头角，各种图学习任务中表现出色，优于图神经网络（GNNs）。然而，图的分词器的发展滞后于其他模态。为了解决这个问题，我们引入了 GQT（图量化分词器），通过利用多任务图自监督学习将分词器训练与 Transformer 训练分离，从而生成健壮且通用的图分词。此外，GQT 利用残差向量量化（RVQ）学习分层离散分词，显著减少了内存需求并提高了泛化能力。通过将 GQT 与分词调节结合，一个 Transformer 编码器在 22 个基准中的 20 个上实现了最佳性能，包括大规模同质和异质数据集。