Sep, 2016

使用自适应脉冲神经网络进行快速高效的异步神经计算

PDF
TL;DR本文提出了一种基于适应性尖峰神经元的调整尖峰神经网络（ASNN），使用形式化的异步脉冲 Sigma-Delta 编码有效地对脉冲列进行信息编码，同时通过调节发放率进行神经元适应性，紧密耦合了神经适应性与突触可塑性，用尖峰神经元替换标准前馈人工神经网络中的 ReLU 神经元，成功地应用于分类 MNIST 数据集的深度卷积神经网络。
spiking neuronsadaptationsynaptic plasticityfeedforward annsdeep convolutional neural network
发现论文，激发创造
  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • SNNs 中的集成可塑性和网络适应性

    介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

    Mar, 2022

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 基于事件视觉的脉冲神经网络的异步生物合理神经元

    脉冲神经网络 (SNNs) 提供了一种生物启发的计算机视觉方法，可以在处理视觉数据时提高效率并降低能耗。我们提出了一种异步生物合规神经元 (ABN)，用于自动调整输入信号的变化。在各种数据集上的全面评估表明 ABN 在图像分类和分割、维持神经平衡和能效方面具有增强性能。

    Nov, 2023

  • 脉冲神经网络中的固有冗余

    我们提出了一种 Advance Spatial Attention（ASA）模块来利用神经元网络（SNN）中的冗余功能，通过一对个体空间注意子模块来自适应优化其膜电位分布，从而准确调节噪声尖峰特征。实验结果表明，与最先进的 SNN 基准相比，所提出的方法显著减少了尖峰发射，并具有更好的性能。

    Aug, 2023

  • 利用传统循环神经网络进行基于脉冲的计算

    本文中，我们尝试一种对称方法：我们通过修改一种易于训练的循环神经网络的动力学来使其基于事件。这种新型 RNN 单元，称为 Spiking Recurrent Cell，因此使用事件即 spike 进行通信，同时可完全区分化。因此，可以使用基本反向传播来训练任何由该 RNN 单元组成的网络。我们展示了这种新的网络在 MNIST 基准测试及其变体 Fashion-MNIST 和 Neuromorphic-MNIST 中可以达到与其他类型的脉冲网络可比较的性能，并且这个新单元使得深度脉冲网络的训练成为可能。

    Jun, 2023

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

    May, 2020

  • 脉冲神经膜系统学习模型和脉冲神经网络的调查

    脉冲神经网络（SNN）是一种受生物启发的神经网络模型，通过脉冲和脉冲列进行神经元之间的通信，与标准人工神经网络（ANN）不同。本文首先对比了 SNN 和脉冲神经 P 系统（SNPS）的结构、功能、优点和缺点，然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。

    Mar, 2024