连续图神经网络
连续脉冲图神经网络(COS-GNN)是一个统一框架,将脉冲神经网络与连续图神经网络相结合,利用高阶结构和脉冲表示进行连续传播,以增强信息保留并捕捉节点之间的长程依赖。实验结果表明,COS-GNN 在图学习任务中比竞争对手具有更好的效果。
Apr, 2024
图神经网络(GNNs)在建模关系型数据方面表现出显著的潜力,并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递,其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限,并进而指导模型设计。最近,出现了大量使用连续动态学的 GNNs 的作品,旨在解决 GNNs 已知的局限性,如过度平滑和过度压缩。在这项调查中,我们首次系统全面地审查了使用连续动态学视角的研究。为此,我们介绍了适应 GNNs 的连续动态学的基本要素,以及对图神经动力学设计的一般框架。然后,我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后,我们确定了多个开放的研究方向。
Oct, 2023
本文提出一种新的动态图神经网络模型 DGNN,能够利用图的动态信息,通过捕捉边之间的顺序信息、边之间的时间间隔和信息传播一致性,不断更新节点信息,以适应不断发展变化的图,实验结果证明了该框架的有效性。
Oct, 2018
本文提出一种基于持续学习的流式 GNN 模型,通过信息传播和数据重放与模型正则化相结合,实现了对新模式和既有模式的同时维护,解决了历史知识被新知识覆盖的灾难性遗忘问题。在多个实验数据集上的节点分类结果表明,该模型能有效地更新模型参数并达到与重新训练相当的性能。
Sep, 2020
本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力,并采用总变差方法对图扩散模式与社区拓扑进行对齐,最后构建了一种能够预测图中传播流的生成对抗网络。最终,我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。
Jul, 2023
图神经网络已成为从图结构数据中有效挖掘和学习的强大工具,但大多数研究侧重于静态图,忽视了真实世界网络的动态特性,该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。
Apr, 2024
本文提出了一种分离式图神经网络方法,适用于连续型和离散型大型动态图,通过统一的动态传播方法,能够在预测任务中支持序列模型,实现了卓越的可扩展性和表现力,实验结果在连续型和离散型动态图上均达到了最先进表现。
May, 2023
本文介绍了连续深度图神经网络 (GNN) 的框架,将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物,其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定,证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势,在动态设置中,通过利用潜在动态的几何结构性能得到了提高。
Nov, 2019
该研究论文提出了一种名为动态神经图网络(Dynamic Spiking Graph Neural Networks)的框架,用于解决动态图表示学习中的信息丢失和内存要求问题,通过将早期信息直接传递到最后一层以进行信息补偿,并在动态图环境中扩展了隐式微分以适应内存要求,并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。
Dec, 2023
本文回顾了动态图学习的问题和模型,分析和讨论了各种动态图的监督学习设置,并确定了现有模型的相似之处和不同之处,最后为 DGNN 设计者在面对动态图学习问题时提供了一般指导原则。
Apr, 2023