arXiv:2502.07982v1 宣告类型: 新 摘要: 图学习由于其广泛的实际应用而引起了广泛关注。当前主流方法依赖于文本节点特征，并通过使用GNN的浅层嵌入学习来获得初始节点嵌入，这在捕捉深层文本语义方面显示出局限性。大规模语言模型（LLMs）的最新进展在理解文本语义方面表现出优越的能力，从而改变了传统文本特征处理。本文提出了一种结合图变换器架构和LLM增强节点特征的新型框架。具体来说，我们利用LLMs生成文本节点丰富的语义表示，然后通过图变换器中的多头自注意力机制来捕捉局部和全局图结构信息。我们的模型利用Transformer的注意力机制动态聚合邻域信息，同时保留LLM嵌入提供的语义丰富性。实验结果表明，LLM增强的节点特征显著提高了图学习模型在节点分类任务上的性能。该方法在多种图学习任务中表现出有希望的结果，为将图网络与语言模型结合起来提供了可行的方向。