AAAIDec, 2023

三值尖峰：学习脉冲神经网络的三值尖峰

PDF
TL;DR通过理论和实验证明，二进制尖峰激活图无法携带足够的信息，导致精度下降；为了解决这个问题，提出了一种三值尖峰神经元来传输信息，该神经元能够提高信息容量；通过在该神经元中嵌入可训练因子，使得深层 SNN 的尖峰幅度适应不同的膜电位分布；通过重新参数化技术，在推断中将可训练的三值尖峰 SNN 转换为标准形式；在静态和动态数据集上进行了广泛实验，结果表明三值尖峰始终优于现有方法。
spiking neural networkbinary spike activationternary spike neuroninformation losstrainable ternary spike snn
发现论文，激发创造
  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • MT-SNN：多阈值增强脉冲神经网络

    本文提出了一种多阈值（MT）方法，以缓解由二值激活带来的精度损失，从而使 SNNs 可以在更少的步骤达到更高的准确性，通过在 CIFAR10，CIFAR100 和 DVS-CIFAR10 上的评估，证明了 MT 可以广泛促进 SNNs，特别是在早期步骤中，例如，使用 MT，基于 Parametric-Leaky-Integrate-Fire（PLIF）的 VGG 网络甚至可以在 1 个步骤中胜过 ANN 对应物。

    Mar, 2023

  • 降低脉冲神经网络的信息损失

    使用 “软复位” 机制和膜电位整流器 (MPR) 的脉冲神经网络 (SNNs) 在静态和动态数据集上表现优于普通 SNNs。

    Jul, 2023

  • Real Spike: 学习脉冲神经网络的实值脉冲

    本文提出了一种用于 SNNs 的训练 - 推理分离方法 ——Real Spike，该方法不仅享有未共享的卷积核和二进制脉冲推理时间，而且在训练期间还保持了共享卷积核和实值脉冲。通过参数重新调整技术，实现了 SNN 的这种解耦机制。此外，本文还提出了几种不同形式的 Real Spike，适用于不同的硬件平台，并在多个数据集上表现出比现有模型更好的性能。

    Oct, 2022

  • SuperSpike: 多层脉冲神经网络中的监督学习

    本研究基于神经脉冲网络中的超级脉冲非线性电压三因素学习规则，探究了不同信用分配策略对多层神经网络的表现，可促进神经脉冲网络的学习和计算方式的理解。

    May, 2017

  • 探索二进制和脉冲神经网络之间的联系

    通过训练极度量化的脉冲神经网络，在不受到精度降低的情况下，可以实现像 CIFAR-$100$ 和 ImageNet 这样的大规模数据集的近乎完全精确度。此外，通过 “内存” 硬件加速器，也可以启用二元脉冲神经网络。

    Feb, 2020

  • 朝零内存占用的脉冲神经网络训练

    设计具有高准确性的可逆 SNN 节点以降低内存占用并利用算法来加速训练过程，从而减少训练时间。

    Aug, 2023

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 脉冲爆发：针对基于事件的视觉任务的高效、高性能 SNNs

    通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术，在分类和目标检测方面展示出卓越的性能和降低的能量使用，从而推动了基于事件驱动视觉的脉冲神经网络的进展。

    Nov, 2023

  • AutoSNN: 实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

    Jan, 2022