基于突发尖峰的深度脉冲神经网络快速高效信息传输

Sep, 2018

基于突发尖峰的深度脉冲神经网络快速高效信息传输

Fast and Efficient Information Transmission with Burst Spikes in Deep Spiking Neural Networks

Seongsik Park, Seijoon Kim, Hyeokjun Choe, Sungroh Yoon

TL;DR本研究提出了一种利用突发脉冲和混合神经编码方案实现的快速高效信息传输方法，以提高深度脉冲神经网络的推理能效和降低延迟。

Abstract

The spiking neural networks (SNNs) are considered as one of the most promising artificial neural networks due to their energy efficient computing capability. Recently, conversion of a trained deep neural network to an SNN has improved the accuracy of deep SNNs. However, most of the pre

spiking neural networks energy efficiency information transmission burst spikes hybrid neural coding

发现论文，激发创造

脉冲爆发：针对基于事件的视觉任务的高效、高性能 SNNs

通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术，在分类和目标检测方面展示出卓越的性能和降低的能量使用，从而推动了基于事件驱动视觉的脉冲神经网络的进展。

Nov, 2023

AutoSNN: 实现能效高的脉冲神经网络

通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

Jan, 2022

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

易于训练和稳健性能的时间编码深度脉冲神经网络

本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

Sep, 2019

具有突发电位的脉冲神经网络的高效准确转换

探讨了 ANN 转换成 SNN 的过程中容易出现的问题，并提出了利用 Lateral Inhibition Pooling 和 Burst spikes 等方法加快推理过程并提高准确性的算法，在 CIFAR 和 ImageNet 数据集上实验取得了很高的效率和精度。

Apr, 2022

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023

基于直接学习的深度脉冲神经网络综述

本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

May, 2023

T2FSNN：基于时间第一次尖峰编码的深度脉冲神经网络

本文提出了 T2FSNN，利用基于内核的动态阈值和树突将时间到第一个尖峰编码的概念引入深度 SNN 中，进一步提高其效率，优化后的方法可以将推理延迟和尖峰数分别降低到 22％和小于 1％。

Mar, 2020

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023