我们从理论和实证上证明，线性Transformer应用于图数据时，可以实现求解诸如电流流和特征向量分解等典型问题的算法。Transformer的输入仅仅是图的关联矩阵；没有提供其他显式的 positional encoding 信息。我们提出了实现每种图算法的显式权重配置，并通过底层算法的误差来限制所构建Transformer的误差。我们在合成数据上的实验验证了我们的理论发现。此外，在一个真实的分子回归任务中，我们观察到线性Transformer能够学习比基于拉普拉斯特征向量的默认 positional encoding 更有效的 positional encoding。我们的工作是阐明Transformer处理图数据内部机制的初步尝试。