通过脉冲神经网络扩展动态图表示学习
本文提出了一种基于动态图的归纳式深层表示学习框架(DyRep),能够学习一组函数以高效生成随时间演变的低维节点嵌入,这些嵌入驱动动态图中节点之间的通信与关联,并利用时间为尺度的多元点过程模型来捕获这些动态关系,该研究通过动态链接预测和事件时间预测问题的两个真实世界数据集的实验证明了框架的有效性。
Mar, 2018
本研究提出了一个基于神经脉冲的建模框架,使得SNN网络可以直接应用于处理图形数据。通过空时展开的神经脉冲数据流,我们将图形卷积滤波器与神经脉冲动力学相结合,并提出了一种适用于SNN的空时特征归一化技术(STFN),并将其实例化为两个脉冲图形模型。在三个节点分类基准上验证了我们的模型的性能,包括Cora,Citeseer和Pubmed。实验结果表明,我们的方法与现有的图神经网络(GNN)模型相比具有可比性,但计算成本明显更低,可以在神经形态硬件上得到很好的应用。
Jun, 2021
本文提出一种新的算法——动态图形学习,旨在在动态图形中共同学习图形信息和时间信息,并利用梯度元学习来学习更新策略,在快照上具有比RNN更好的泛化能力,能够训练任何基于消息传递的图神经网络以增强表示能力。
Nov, 2021
本文提出了一个新的方法,即使用整个邻域的时间聚合和传播图神经网络(TAP-GNN),将时间信息嵌入节点嵌入向量中,取得了比现有的时间图方法更好的预测性能和在线推理延迟。
Apr, 2023
该研究论文提出了一种名为动态神经图网络(Dynamic Spiking Graph Neural Networks)的框架,用于解决动态图表示学习中的信息丢失和内存要求问题,通过将早期信息直接传递到最后一层以进行信息补偿,并在动态图环境中扩展了隐式微分以适应内存要求,并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。
Dec, 2023
我们提出了将SNNs与Graph Transformers相结合的新颖观点,并设计了一个Spiking Graph Attention (SGA)模块,通过稀疏加法和掩码操作取代矩阵乘法。我们的Spiking Graph Attention模块在大规模图上实现了全对节点交互,并且能够同时捕捉本地邻居。SpikeGraphormer比现有的方法在各种数据集上表现出色,在训练时间、推断时间和GPU内存成本等方面都有显著改进(比普通的self-attention低10-20倍)。它在跨领域应用(图像和文本分类)中也表现良好。
Mar, 2024
本文提出了一个将注意机制与脉冲神经网络(SNN)相结合的新方法,以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征,并在多个基准数据集上进行评估,结果显示其性能与现有的图学习技术相当。
Mar, 2024
通过融合SNN和GNN并应用新颖的Temporal Activation机制,该研究提出了一种名为SiGNN的框架,用于在动态图上学习增强的时空表示,通过在多个时间粒度上深入分析动态图中的演化模式实现多尺度时空节点表示。实验证明SiGNN在节点分类任务中具有出色的性能。
Mar, 2024