LLM2D
GCoT: 图的链式思考提示学习
GCoT: Chain-of-Thought Prompt Learning for Graphs
作者: Xingtong Yu, Chang Zhou, Zhongwei Kuai, Xinming Zhang, Yuan Fang
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08092v1

摘要

arXiv:2502.08092v1 类别: cross 摘要: 链式思维(CoT)提示在自然语言处理(NLP)方面取得了显著的成功。然而,对于图来说,其巨大的潜力仍 largely 未被探索。这提出了一个有趣的问题:我们如何为图设计链式思维提示,以引导图模型逐步学习?一方面,与自然语言不同,图是非线性的,具有复杂的拓扑结构。另一方面,许多图缺乏文本数据,使得基于语言的链式思维提示难以制定。在本文中,我们提出第一个适用于无文本图的链式思维提示学习框架,GCoT。具体而言,我们将每个下游任务的适应过程分解为一系列推理步骤,每一步包括基于提示的推理、“想法”生成和基于想法的提示学习。虽然这些步骤模仿了NLP中的链式思维提示,但其机制差异显著。具体而言,在每一步中,先将输入图与提示一并输入预训练的图编码器进行基于提示的推理。然后,我们汇集编码器的隐藏层以构建一个“想法”,该想法捕捉当前步骤中每个节点的状态。基于这种想法,我们根据当前状态为每个节点学习一个特定的提示。这些提示再输入到下一推理步骤,重复这个循环。为了评估和分析GCoT的有效性,我们在八个公共数据集上进行了全面的实验,这些实验展示了我们方法的优势。