LLM2D
TANGNN:一种简洁、可扩展且有效的基于Top-m注意力机制的图神经网络,用于图表示学习
TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning
作者: Jiawei E, Yinglong Zhang, Xuewen Xia, Xing Xu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15458v1

摘要

在深度学习领域,图神经网络 (GNN) 和图 Transformer 模型凭借其卓越的性能和灵活的架构设计,已成为处理结构化数据(尤其是图数据)的领先技术。传统的 GNN 通常难以有效地捕获来自远处顶点的信息。相比之下,图 Transformer 模型尤其擅长处理长距离节点关系。尽管具有这些优势,但图 Transformer 模型在扩展到大型图数据集时仍然面临计算和存储效率问题。为了解决这些挑战,我们提出了一种创新的图神经网络 (GNN) 架构,该架构集成了 Top-m 注意力机制聚合组件和邻域聚合组件,有效地增强了模型在每一层聚合来自局部和扩展邻域的相关信息的能力。这种方法不仅提高了计算效率,而且丰富了节点特征,促进了对复杂图结构的更深入分析。此外,为了评估我们提出的模型的有效性,我们将其应用于引用情感预测,这是一项在 GNN 领域以前未曾探索过的新任务。因此,我们构建了一个专门的引用网络 ArXivNet。在这个数据集中,我们专门标注了引文的感情极性(正面、中性、负面),以便进行深入的情感分析。我们的方法在顶点分类、链接预测、情感预测、图回归和可视化等多种任务中均表现出优越的性能。实验结果表明,它在多个数据集上的有效性优于现有方法。