arXiv:2504.12474v2 Announce Type: replace-cross 摘要：文本标注图（TAGs）在表示学习中提出了独特的挑战，因为它们要求模型同时捕捉节点相关文本的语义丰富性和图结构的依赖关系。虽然图神经网络（GNNs）在建模拓扑信息方面表现出色，但它们缺乏处理非结构化文本的能力。相反，大型语言模型（LLMs）在文本理解方面非常熟练，但通常对图结构一无所知。在本文中，我们提出了一种新颖的架构BiGTex（双向图文本），它通过堆叠图-文本融合单元紧密地将GNNs和LLMs集成在一起。每个单元允许文本和结构表示之间的相互注意，从而使信息可以在两个方向上流动，文本影响结构，结构指导文本解释。所提出架构通过参数高效微调（LoRA）进行训练，保持LLMs冻结，同时适应任务特定信号。在五个基准数据集上的广泛实验表明，BiGTex在节点分类上取得了最先进的性能，并且在链接预测方面能够有效泛化。进一步的消融研究还强调了软提示和双向注意在模型成功中的重要性。