LLM2D
图提示有效吗?从数据操作的角度进行理论分析
Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis
作者: Qunzhong Wang, Xiangguo Sun, Hong Cheng
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01635v1

摘要

近年来,图提示已成为一个很有前景的研究方向,它能够在各种应用中学习附加到原始图上的额外标记或子图,而无需重新训练预训练的图模型。这种新范式从传统的预训练和微调转变为预训练和提示,在模拟图数据操作方面取得了显著的经验成功,其应用范围从推荐系统到生物网络和图迁移。然而,尽管具有潜力,图提示的理论基础仍未得到充分探索,这引发了关于其基本有效性的关键问题。缺乏关于其为何以及如何起作用的严格理论证明,就像一团乌云笼罩着图提示领域,阻碍着其进一步发展。为了填补这一空白,本文引入了一个理论框架,从数据操作的角度严格分析图提示。我们的贡献有三方面:首先,我们提供了一个形式保证定理,证明了图提示能够近似图变换算子,有效地将上游和下游任务联系起来。其次,我们推导出单个图上图提示数据操作误差的上限,并将讨论扩展到图批次,这是图模型训练中的常见情况。第三,我们分析了数据操作误差的分布,将我们的理论发现从线性图模型(例如,GCN)扩展到非线性图模型(例如,GAT)。大量的实验支持了我们的理论结果,并证实了这些保证的实际意义。