LLM2D
TASER:用于快速准确动态图表示学习的时间自适应采样
TASER: Temporal Adaptive Sampling for Fast and Accurate Dynamic Graph Representation Learning
作者: Gangda Deng, Hongkuan Zhou, Hanqing Zeng, Yinglong Xia, Christopher Leung, Jianbo Li, Rajgopal Kannan, Viktor Prasanna
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2402.05396v3

摘要

近期,时间图神经网络 (TGNNs) 在欺诈检测和内容推荐等诸多高影响力应用中展现出最先进的性能。尽管 TGNNs 取得了成功,但它们容易受到现实世界动态图中普遍存在的噪声的影响,例如时间失效的链接和倾斜的交互分布。这种噪声会导致两个严重问题,显著影响 TGNNs 的准确性:(1) 模型由劣质交互进行监督;(2) 噪声输入导致聚合消息的高方差。然而,当前的 TGNN 降噪技术并没有考虑每个节点多样化和动态的噪声模式。此外,它们还遭受遍历更多邻居而导致的过多的 mini-batch 生成开销。我们认为快速准确的 TGNNs 的解决方案在于时间自适应采样。在这项工作中,我们提出了 TASER,这是第一个针对 TGNNs 的自适应采样方法,该方法针对准确性、效率和可扩展性进行了优化。TASER 基于训练动态调整其 mini-batch 选择,并基于过去交互的上下文、结构和时间属性调整时间邻居选择。为了缓解 mini-batch 生成中的瓶颈,TASER 实现了一个纯基于 GPU 的时间邻居查找器和一个专用的 GPU 特征缓存。我们使用两个最先进的骨干 TGNN 对 TASER 的性能进行了评估。在五个常用数据集上,TASER 在平均倒数排名 (MRR) 上比相应的基线平均提高了 2.3%,同时训练时间平均加快了 5.1 倍。