连续脉冲图神经网络
本文提出了一种连续图神经网络 (CGNN),可以广泛应用于现有的离散动态的图神经网络,并能够捕捉节点之间的远距离依赖关系。实验结果表明,相对于竞争基线,该方法在节点分类任务上是有效的,且具有抗过度平滑的特性。
Dec, 2019
该研究论文提出了一种名为动态神经图网络(Dynamic Spiking Graph Neural Networks)的框架,用于解决动态图表示学习中的信息丢失和内存要求问题,通过将早期信息直接传递到最后一层以进行信息补偿,并在动态图环境中扩展了隐式微分以适应内存要求,并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。
Dec, 2023
本文提出了 SpikingGCN,一个将 GCN 的嵌入与 SNN 的生物保真特性整合在一起的端到端框架,实现了在众多场景中能够达到竞争水平的性能,同时在神经形态芯片上实现了能效的优势,展示了其建立环境友好的机器学习模型的巨大潜力。
May, 2022
图神经网络(GNNs)在建模关系型数据方面表现出显著的潜力,并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递,其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限,并进而指导模型设计。最近,出现了大量使用连续动态学的 GNNs 的作品,旨在解决 GNNs 已知的局限性,如过度平滑和过度压缩。在这项调查中,我们首次系统全面地审查了使用连续动态学视角的研究。为此,我们介绍了适应 GNNs 的连续动态学的基本要素,以及对图神经动力学设计的一般框架。然后,我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后,我们确定了多个开放的研究方向。
Oct, 2023
提出了一种名为 Graph-Coupled Oscillator Networks(GraphCON)的新型用于图上深度学习的框架,该框架基于二阶常微分方程(ODEs)的离散化模型,模拟了通过底层图的邻接结构耦合的非线性控制和阻尼振荡器网络,并且解决了过度平滑问题和梯度消失问题。
Feb, 2022
介绍一种名为 SpikeNet 的可扩展框架,它旨在使用脉冲神经网络(SNNs)而非循环神经网络(RNNs)来捕获时变图的时变和结构模式,SpikeNet 在计算成本更低的情况下在时态节点分类任务上超过了强基线,并具有更少的计算负担。
Aug, 2022
本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力,并采用总变差方法对图扩散模式与社区拓扑进行对齐,最后构建了一种能够预测图中传播流的生成对抗网络。最终,我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。
Jul, 2023
通过融合 SNN 和 GNN 并应用新颖的 Temporal Activation 机制,该研究提出了一种名为 SiGNN 的框架,用于在动态图上学习增强的时空表示,通过在多个时间粒度上深入分析动态图中的演化模式实现多尺度时空节点表示。实验证明 SiGNN 在节点分类任务中具有出色的性能。
Mar, 2024
本文介绍 Causal Graph Process Neural Network (CGProNet),它结合了 CGPs 和 GNNs,用于时空预测,并通过使用更少的参数、减少内存使用和提高运行效率来优化模型。实验结果表明 CGProNet 在保持竞争力的预测性能的同时,最小化了内存和时间需求。
May, 2024
本文提出一种基于持续学习的流式 GNN 模型,通过信息传播和数据重放与模型正则化相结合,实现了对新模式和既有模式的同时维护,解决了历史知识被新知识覆盖的灾难性遗忘问题。在多个实验数据集上的节点分类结果表明,该模型能有效地更新模型参数并达到与重新训练相当的性能。
Sep, 2020