摘要
arXiv:2505.08265v1 交叉类型:
摘要:使用大型语言模型(LLMs)作为特征增强器以优化节点表示,然后将这些表示作为图神经网络(GNNs)的输入,在图表示学习中展现出了显著的潜力。然而,这种做法的基本特性仍然未被充分探索。为解决这一问题,我们提出基于交换干预方法进行更深入的分析。首先,我们构建了一个具有可控因果关系的合成图数据集,这使其能够精确操纵语义关系和进行因果建模,从而为分析提供数据。借助这个数据集,我们进行了交换干预,以检查LLM增强器和GNNs的深层特性,揭示它们的潜在逻辑和内部机制。基于分析结果,我们设计了一个即插即用优化模块,以提高LLM增强器与GNNs之间的信息传递。跨多个数据集和模型的实验验证了所提出模块的有效性。