arXiv:2504.12474v1 类型: cross 摘要: 文本属性图（TAGs）在表示学习中提出了独特的挑战，因为它们要求模型同时捕捉节点关联文本的语义丰富性和图的结构依赖性。虽然图神经网络（GNNs）在建模拓扑信息方面表现出色，但在处理无结构文本方面却能力不足。相反，大型语言模型（LLMs）在文本理解方面表现出色，但通常不了解图结构。在这个工作中，我们提出了BiGTex（双向图文本），这是一种新颖的架构，通过堆叠图-文本融合单元，紧密整合了GNNs和LLMs。每个单元允许文本和结构表示之间的相互注意，使得信息能够在两个方向流动，文本影响结构，而结构指导文本的解释。所提出的架构通过参数高效微调（LoRA）进行训练，保持LLM冻结，但适应特定任务信号。在五个基准数据集上的广泛实验表明，BiGTex在节点分类方面达到了最先进的性能，并且在链接预测任务上表现出有效的泛化能力。进一步的消融研究还强调了软提示和双向注意在模型成功中的重要性。