NIPSMar, 2018

脉冲神经元网络中的长短时记忆和学习 - to-learn

PDF
TL;DR研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络（RSNNs）中，从而优化网络结构，实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。
发现论文，激发创造
  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 脉冲神经膜系统学习模型和脉冲神经网络的调查

    脉冲神经网络（SNN）是一种受生物启发的神经网络模型，通过脉冲和脉冲列进行神经元之间的通信，与标准人工神经网络（ANN）不同。本文首先对比了 SNN 和脉冲神经 P 系统（SNPS）的结构、功能、优点和缺点，然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。

    Mar, 2024

  • 稀疏脉冲神经网络：利用时间尺度异质性进行修剪循环 SNN

    通过引入新颖的 Lyapunov Noise Pruning (LNP) 算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质 RSNN 模型，本文展示了相对于传统的基于活性剪枝的方法，该任务无关的方法可以增加 RSNN 的计算效率和预测性能。

    Mar, 2024

  • 脉冲神经网络深度学习

    该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

    Apr, 2018

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 在具有不同局部性的脉冲神经网络学习方法方面的基准测试

    Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.

    Feb, 2024

  • 用于训练深度递归脉冲神经网络的脉冲序列级反向传播

    本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法：Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs，在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。

    Aug, 2019

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 基于脉冲编码的快速准确循环神经网络排名编码

    本研究表明，受到生物突触神经网络启发，例如秩序编码（RC）的时间编码可以应用于传统通用人工神经网络（如 LSTMs），并且能够提高计算效率，而且可以通过调整阈值或正则化参数来实现速度和准确度之间的权衡。

    Oct, 2021