Jun, 2023

使用可学习间距和扩张卷积学习脉冲神经网络中的延迟

PDF
TL;DR提出了一个新的离线离散时间算法，基于通过时间的 1D 卷积进行模拟，来学习深度前馈 SNN 中的延迟并提高其表现，这一算法使用了可学习间隔的扩张卷积（DCLS），在测试中表现优于最新技术，为时序数据处理中精确模型的发展提供了潜力。
spiking neural networksdelaysexpressivitybackpropagationtemporal data processing
发现论文，激发创造
  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 轴突延迟作为前馈深度脉冲神经网络的短期记忆

    本文提出了一种短时记忆 / 修正轴突延迟模块用于调节脉冲发放的时间，实现神经元轴突传输的时序信息，并在三个神经视觉公开数据集上进行验证实现。

    Apr, 2022

  • DelGrad：用于学习传输延迟和权重的脉冲网络的精确梯度

    脉冲神经网络在信息表示和处理中依赖信号的时间性。本文提出了一种基于事件的分析方法，可以计算出准确的损失梯度，包括突触权重和传输延迟，丰富了模型的搜索空间。研究结果显示，学习延迟在提高准确性和参数效率方面具有重要优势。

    Apr, 2024

  • 使用反向传播训练深度脉冲神经网络

    该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

    Aug, 2016

  • 带有突触延迟的时间脉冲神经网络用于图形推理

    SNNs, when combined with synaptic delay and temporal coding, demonstrate efficient graph reasoning and achieve significant energy savings compared to non-spiking networks.

    May, 2024

  • 利用神经元和突触滤波器动态特性在深度脉冲神经网络的时空学习中实现利用

    提出一种训练算法，将 SNN 作为无限脉冲响应（IIR）滤波器的网络，以学习 SNN 的时空模式，并构建用于合成和公共数据集的联想记忆和分类器，其准确度优于最先进的方法。

    Feb, 2020

  • 可学习间距的扩张卷积音频分类

    在这篇论文中，通过使用 DCLS 方法替代卷积架构中的 DSC 层，显著提高了音频标记的平均精度，同时不增加参数数量，并且对吞吐量只有较低的成本。

    Sep, 2023

  • 提高深度脉冲神经网络训练性能的有效方法

    本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

    Nov, 2016

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 用于数字事件驱动神经形态处理器的具备硬件意识的模型训练

    本文提出了一种框架，用于在数字神经形态硬件中训练和部署高性能尖峰神经网络模型（SNNs），其中除了神经突触的突触权重外，还进行了协同优化的突触延迟。评估了在两个神经形态数字硬件平台（Intel Loihi 和 Imec Seneca）上训练的模型，并展示了从软件到硬件的过渡过程中的最小精度降低。

    Apr, 2024