arXiv:2502.12352v1 Announce Type:跨领域 摘要：我们引入了注意图（Attention Graphs），这是一种基于图神经网络（GNNs）中的消息传递与变换器中的自我注意机制之间的数学等价性的新工具，用于图神经网络和图变换器的机械可解释性。注意图在变换器层和头之间聚集注意力矩阵，以描述信息在输入节点之间的流动。通过在同质和异质节点分类任务上的实验，我们从网络科学的角度分析了注意图，并发现：（1）当允许变换器使用输入节点之间的全连接注意来学习最优图结构时，模型学习到的注意图不倾向于与输入/原始图结构相关；（2）对于异质图，不同的图变换器变体可以实现相似的性能，同时利用不同的信息流动模式。开源代码：https://github.com/batu-el/understanding-inductive-biases-of-gnns