预训练的基于Transformer的语言模型（LMs）以其强大的词嵌入能力在文本分类任务中取得了显著的改进，但其黑箱性质导致的缺乏可解释性一直是一个主要问题。在这项工作中，我们提出了GAProtoNet，一种新颖的白箱多头部图注意力基础的原型网络，旨在解释基于LM编码器构建的文本分类模型的决策。在我们的方法中，输入向量和原型被视为图中的节点，我们利用多头部图注意力来有选择地构建输入节点与原型节点之间的边，以学习可解释的原型表示。在推理过程中，模型根据每个原型的注意力得分加权的激活原型的线性组合做出决策，使得其选择可以通过注意力权重和投影到最匹配训练样本的原型透明地解释。在多个公共数据集上的实验表明，我们的方法在不牺牲原始黑箱LMs准确性的情况下取得了优越的结果。我们还与四种替代的原型网络变体进行了比较，我们的方法在所有变体中达到了最佳的准确率和F1分数。我们的案例研究和原型簇的可视化也展示了在解释基于LMs构建的黑箱模型决策方面的效率。