Apr, 2024

利用配备仿射编码器和解码器的脉冲神经网络进行高效学习

PDF
TL;DR我们研究了与尖峰神经网络相关的学习问题，具体来说，我们考虑具有仿射时间编码器和解码器以及仅具有正向突触权重的简单尖峰神经元的尖峰神经网络的假设集。我们证明了正权重尖峰神经网络的广泛表达性结果，包括对平滑函数的速率最优逼近或无维度诅咒的逼近。此外，正权重尖峰神经网络被证明在其参数上连续依赖，这有助于传统的基于覆盖数量的泛化语句。最后，我们观察到，从泛化的角度来看，与前馈神经网络或以前的针对通用尖峰神经网络的结果相反，深度对泛化能力几乎没有不利影响。
发现论文，激发创造
  • 基于脉冲神经网络时间编码的监督学习

    本研究证明了在采用了时间编码方案的前馈脉冲网络中，网络输入 - 输出关系在几乎任何地方都是可微的，并且在变量转换后这种关系是分段线性的。此外，我们展示了通过该方法对项独立 MNIST 任务进行训练的结果，从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是，我们所提出的网络的脉冲更为稀疏，且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。

    Jun, 2016

  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022

  • SuperSpike: 多层脉冲神经网络中的监督学习

    本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。

    May, 2017

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 深度脉冲神经网络的固有对抗鲁棒性：离散输入编码和非线性激活的影响

    本文介绍了潜在的对抗攻击抗干扰能力强的脉冲神经网络（SNN），以及研究表明使用 Poisson 编码器的输入离散化和 Leaky-Integrate-Fire (LIF) 神经元的泄漏率增加可提高其在 CIFAR 数据集上的对抗准确性。

    Mar, 2020

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 脉冲神经网络的梯度下降

    本研究提出了一种利用可微分脉冲神经网络模型的梯度下降方法，解决以往基于静态神经元的网络模型无法处理脉冲信号信息处理的问题。实验结果表明该方法可以优化脉冲神经网络的动态行为与行为时间的关系，并为基于脉冲信号的神经计算提供了通用的监督学习算法。

    Jun, 2017

  • 突触神经网络中的代理梯度学习

    本文阐述了训练脉冲神经网络时通常遇到的问题，并通过指导读者了解突触可塑性和数据驱动学习的关键概念，概述了现有方法并介绍了代理梯度方法，这是一种特别灵活和有效的克服上述挑战的方法。

    Jan, 2019

  • 利用代理梯度脉冲神经网络作为编码器进行大词汇量连续语音识别

    通过替代传统的 LSTM，本文证明了用 spiking neural networks 采用 surrogate gradient method 算法进行训练可在连续语音识别任务中替代 LSTM，并表现出良好的性能和抗梯度爆炸问题的稳健性。

    Dec, 2022

  • 无权重脉冲神经网络中的时域延迟记忆

    本文介绍了一个基于无权重脉冲神经网络的原型，可以通过使用 Spike Timing Dependent Plasticity (STDP) 在神经元之间的时间上进行训练，而非传统的神经连接强度，以进行简单的分类任务。

    Feb, 2022