AAAINov, 2022

探索脉冲神经网络中的时间信息动态

PDF
TL;DR本文通过估算 SNN 中权重的 Fisher 信息在训练期间的分布来回答了几个基本问题，发现时间信息浓缩现象是 SNN 的一个普遍的学习特征，并提出了一种基于该现象的高效迭代剪枝方法。
发现论文，激发创造
  • 利用神经元和突触滤波器动态特性在深度脉冲神经网络的时空学习中实现利用

    提出一种训练算法，将 SNN 作为无限脉冲响应（IIR）滤波器的网络，以学习 SNN 的时空模式，并构建用于合成和公共数据集的联想记忆和分类器，其准确度优于最先进的方法。

    Feb, 2020

  • 面向高效内存计算的自适应输入间隔动态脉冲神经网络

    当前，脉冲神经网络因其对稀疏和二元脉冲信息的处理能力以及避免昂贵的乘法操作而引起了广泛研究兴趣。然而，如果使用 In-Memory Computing（IMC）架构，SNNs 的能量成本和延迟会随时间步数线性增长。因此，为了最大化 SNN 的效率，我们提出了一种基于动态时间步长的输入感知 SNN 算法，通过计算每个时间步长后输出的熵来动态确定时间步长的数量，从而实现将能量延迟产品降低 80%。

    May, 2023

  • 神经形态算法硬件协同设计用于时间模式学习

    本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法，该算法能够训练 SNN 学习复杂的时空模式，并且通过与硬件结合的方式，展示了神经元和突触基于忆阻器的网络实现的原理及优点。

    Apr, 2021

  • 脉冲神经网络 -- 第二部分：检测时空模式

    本文从认知神经科学方面入手，分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点，其中使用了概率模型和时间反向传播算法解决了部分难点，最后在神经元数据集上进行了对比实验.

    Oct, 2020

  • 在图形学习中利用脉冲动态与空时特征规范化

    本研究提出了一个基于神经脉冲的建模框架，使得 SNN 网络可以直接应用于处理图形数据。通过空时展开的神经脉冲数据流，我们将图形卷积滤波器与神经脉冲动力学相结合，并提出了一种适用于 SNN 的空时特征归一化技术 (STFN)，并将其实例化为两个脉冲图形模型。在三个节点分类基准上验证了我们的模型的性能，包括 Cora，Citeseer 和 Pubmed。实验结果表明，我们的方法与现有的图神经网络 (GNN) 模型相比具有可比性，但计算成本明显更低，可以在神经形态硬件上得到很好的应用。

    Jun, 2021

  • 易于训练和稳健性能的时间编码深度脉冲神经网络

    本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

    Sep, 2019

  • 使用动态时间步长的脉冲神经网络用于视觉变换器

    基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

    Nov, 2023

  • 基于时间关注机制的尖峰神经网络用于事件流分类

    该论文提出了一种基于时间注意力的尖峰神经网络模型来处理事件流，能够有效地提取时空特征，提高分类准确率。

    Jul, 2021

  • 脉冲神经网络的时间对比学习

    本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。

    May, 2023

  • 动态脉冲图神经网络

    该研究论文提出了一种名为动态神经图网络（Dynamic Spiking Graph Neural Networks）的框架，用于解决动态图表示学习中的信息丢失和内存要求问题，通过将早期信息直接传递到最后一层以进行信息补偿，并在动态图环境中扩展了隐式微分以适应内存要求，并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。

    Dec, 2023