LLM2D
多域图基础模型:通过拓扑对齐实现 robust 知识迁移
Multi-Domain Graph Foundation Models: Robust Knowledge Transfer via Topology Alignment
作者: Shuo Wang, Bokui Wang, Zhixiang Shen, Boyan Deng, Zhao Kang
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2502.02017v1

摘要

arXiv:2502.02017v1 类型: cross 摘要: 近年来,计算机视觉(CV)和自然语言处理(NLP)的最新进展激发了研究人员开发泛用图基础模型的热情,通过在多个领域进行预训练。然而,不同领域中的图拓扑结构存在显著差异,这是一个基本的挑战。此外,现实世界的图往往是稀疏的,并且容易受到噪声连接和 adversarial 攻击的影响。为了解决这些问题,我们提出了多领域图基础模型(Multi-Domain Graph Foundation Model, MDGFM),这是一种统一框架,它通过整合和利用跨领域的拓扑信息来促进稳健的知识迁移。MDGFM 通过适应性地平衡特征和拓扑结构,并改进原始图以消除噪声和对齐拓扑结构,从而连接不同的领域。为了进一步增强知识迁移,我们引入了一种高效的提示调优方法。通过对齐拓扑结构,MDGFM 不仅提高了多领域预训练的效果,还使知识能够稳健地转移到未见过的领域。理论分析为 MDGFM 的有效性和领域泛化能力提供了保证。在同质性和异质性图数据集上的广泛实验验证了我们方法的稳健性和有效性。