摘要
arXiv:2310.06417v2 announce 类型: replace-cross
摘要:泛化能力是现代学习系统取得成功的基础。对于涉及拓扑结构的非欧几里得数据,例如图形数据,前期研究中一个被忽视的重要方面是如何在拓扑转变下机器学习模型的泛化能力。本文提出了一种基于物理原理的图变换器模型——AdvDIFFormer,旨在解决这一挑战。该模型源自描述一类带有观测和潜在拓扑结构的连续消息传递过程的对流扩散方程。我们证明,AdvDIFFormer具有在拓扑转变下控制泛化误差的可证明能力,而图扩散模型无法保证这一点。实验上,该模型在信息网络的各种预测任务、分子筛选和蛋白质相互作用中表现出明显的优势。