知识图谱推理在各种应用中扮演着至关重要的角色，并引起了广泛关注。近年来，基于路径的方法取得了显著的性能。然而，它们可能面临来自消息传递神经网络的限制，如路径缺失和信息过度压缩。本文重新审视了将变换器应用于知识图谱推理的问题，以解决基于路径方法所面临的约束，并提出了一种新的方法KnowFormer。KnowFormer利用变换器架构从消息传递的角度对知识图谱进行推理，而不是像之前的预训练语言模型方法那样通过文本信息进行推理。具体而言，我们基于知识图谱推理的查询原型定义了注意力计算，便于构建和高效优化。为了将结构信息融入自注意力机制，我们引入了结构感知模块分别计算查询、键和值。此外，我们提出了一种高效的注意力计算方法，以提高可扩展性。实验结果表明，KnowFormer在传导性和归纳性基准测试中均优于显著的基线方法。