LLM2D
DyGMamba:基于状态空间模型在连续时间动态图上有效地建模长期时间依赖关系
DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
作者: Zifeng Ding, Yifeng Li, Yuan He, Antonio Norelli, Jingcheng Wu, Volker Tresp, Yunpu Ma, Michael Bronstein
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2408.04713v3

摘要

arXiv:2408.04713v3 Announce Type: replace-cross 摘要:学习连续时间动态图(CTDG)的有效表示是具有挑战性的,因为需要同时覆盖长时间节点交互历史并捕捉细致的时序细节。特别是出现了两个问题:(1)编码更长的历史需要更多计算资源,因此CTDG模型必须保持较低的计算复杂性以确保效率;(2)与此同时,需要更强大的模型来识别并选择由更长历史提供的扩展上下文中最为关键的时序信息。为了解决这些问题,我们提出了一种名为DyGMamba的CTDG表示学习模型,该模型源自流行的Mamba状态空间模型(SSM)。DyGMamba首先利用节点级别的SSM来编码历史节点交互的序列。然后利用另一个时间级别的SSM来挖掘隐藏在历史图中的时序模式,其输出用于动态选择交互历史中的关键信息。我们在动态链接预测任务上进行了实验验证。结果显示,在大多数情况下,我们的模型达到了最先进的效果。DyGMamba在计算资源方面也保持了高效性,使得在有限的计算预算下能够捕捉到长期的时序依赖关系。