DyG-Mamba:动态图上的连续状态空间建模
DyG2Vec是一种适用于动态图的自监督学习方法,利用窗口机制生成任务不可知的节点嵌入来预测未来的交互,并在标准数据集上显著优于现有的状态-of-the-art方法,并且只需要部分训练/推理时间,适用于少量标签的场景。
Oct, 2022
本文回顾了动态图学习的问题和模型,分析和讨论了各种动态图的监督学习设置,并确定了现有模型的相似之处和不同之处,最后为DGNN设计者在面对动态图学习问题时提供了一般指导原则。
Apr, 2023
本研究论文强调了动态图学习的重要性以及其在各个领域中的应用,并强调了建立一个统一的基准框架的需求,该框架能够捕捉时间动态、不断变化的图结构和下游任务需求。建立统一的基准框架将有助于研究人员了解现有模型的优点和局限性,促进创新,推动动态图学习的进展。此外,本文认为当前动态图学习研究的一个限制是缺乏一个统一的基准框架。这样的框架将有助于准确评估模型,推动动态图学习技术的进展,为实际应用的更有效模型的开发提供可能性。
Jan, 2024
本研究介绍了Graph-Mamba,通过将Mamba block与依赖于输入的节点选择机制进行整合,增强了图网络中的长程上下文建模,从而显著提高了预测性能。通过对十个基准数据集的广泛实验,证明Graph-Mamba在长程图预测任务中胜过最先进的方法,且在FLOPs和GPU内存消耗方面计算成本只占一小部分。
Feb, 2024
基于选择性状态空间模型,该研究提出了一种名为STG-Mamba的时空图学习方法,借助图选择性状态空间块(GS3B)刻画了STG网络的动态演化,并引入了Kalman滤波图神经网络(KFGN)来提升GNN在STG数据建模中的能力。大量实证研究表明了STG-Mamba在预测性能和计算效率方面的优越性。
Mar, 2024
我们提出了一种异构图曼巴网络 (HGMN),它是利用选择性状态空间模型 (SSSMs) 进行异构图学习的首次探索。相比文献,我们的 HGMN 克服了两个主要挑战:(i) 捕捉异构节点之间的长程依赖和 (ii) 将 SSSMs 针对异构图数据进行适应。我们的主要贡献是提出了一个通用的图结构,可以解决现实场景中的异构节点,并进行高效的流程。在方法上,我们引入了一种两级高效的标记化方法,首先在相同节点类型内捕捉长程依赖,然后在所有节点类型之间进行捕捉。在实证方面,我们在异构基准测试上将我们的框架与其他 19 个最先进的方法进行了比较。广泛的比较表明,我们的框架在准确性和效率维度上表现优于其他方法。
May, 2024
本研究提出了一种针对动态图建模的新型预训练和提示框架——DyGPrompt,通过在任务目标和动态变化之间设立双重提示,以及利用节点和时间特征相互刻画的双重条件网络,来有效填补现有静态图的预训练模型在节点分析等下游任务中的缺口。通过在三个公共数据集上进行广泛实验评估和分析,证明了DyGPrompt的有效性。
May, 2024
本研究通过将结构信息整合到在线逼近目标中,采用拉普拉斯正则化项,将状态空间模型理论扩展到时间图,提出了GraphSSM框架,用于建模时间图的动态性,实验证明GraphSSM在各种时间图基准测试中的有效性。
Jun, 2024
动态链接预测是对演化网络进行分析的关键任务,研究范围从推荐系统到经济交易。通过对多个数据集和模型进行综合分析,我们形式化了动态图学习中时间感知域的作用,并强调了它们对预测准确性的关键影响。我们的结果表明,恰当选择的时间感知域可以显著提高模型性能,但对于某些模型来说,过大的窗口可能会引入噪音并降低准确性。我们进行了大量的基准测试来验证我们的发现,并确保所有实验都可以完全再现。
Jul, 2024
本研究针对连续时间动态图(CTDGs)在建模长时间节点交互历史和捕捉细微时间信息方面的挑战,提出了DyGMamba模型,以解决计算复杂度与模型效能之间的矛盾。DyGMamba通过节点级状态空间模型编码历史节点交互序列,并利用时间级状态空间模型动态选择关键时间信息,实验结果表明该模型在动态链接预测任务中表现优异,既有效又高效。
Aug, 2024