摘要
图神经网络架构搜索 (GNAS) 可以为特定图任务或数据集定制高性能图神经网络架构。然而,现有的 GNAS 方法从零知识状态开始搜索架构,忽略了可能提高搜索效率的先验知识。现有的知识库(例如 NAS-Bench-Graph)包含许多丰富的架构及其多个性能指标,例如准确率 (#Acc) 和参数数量 (#Params)。本研究提出利用这种先验知识来加速对名为知识感知进化 GNAS (KEGNAS) 的新图数据集的多目标进化搜索。KEGNAS 利用知识库一次性训练知识模型和深度多输出高斯过程 (DMOGP),这使得在短短几秒的 GPU 时间内就能生成和评估迁移架构。知识模型首先建立数据集到架构的映射,这可以快速生成新数据集的候选迁移架构。随后,设计具有架构和数据集编码的 DMOGP 来预测候选迁移架构在新数据集上的多个性能指标。根据预测的指标,选择非支配的候选迁移架构来预热启动多目标进化算法,从而优化新数据集上的 #Acc 和 #Params。在 NAS-Bench-Graph 和五个真实世界数据集上的实证研究表明,KEGNAS 可以快速生成顶级性能的架构,其准确率比先进的进化基线高 4.27%,比先进的可微基线高 11.54%。此外,消融研究表明,利用先验知识可以显著提高搜索性能。