本文提出了一种用于图表示学习的新型Transformer架构。我们的方法的核心思想是在构建Transformer模块中的注意力机制时，充分考虑图中节点和边之间的信息传播。具体来说，我们提出了一种新的注意力机制，称为图传播注意力（GPA）。它通过三种方式明确地传递节点和边之间的信息，即节点到节点、节点到边和边到节点，这对于学习图结构数据至关重要。在此基础上，我们设计了一个名为图传播Transformer（GPTrans）的有效Transformer架构，以进一步帮助学习图数据。我们在几个基准数据集上进行了广泛的图学习实验，验证了GPTrans的性能。结果表明，我们的方法优于许多最先进的基于Transformer的图模型，并取得了更好的性能。代码将发布在https://github.com/czczup/GPTrans。