针对神经形态应用优化突触神经网络的能耗消耗

Dec, 2019

针对神经形态应用优化突触神经网络的能耗消耗

Optimizing the energy consumption of spiking neural networks for neuromorphic applications

Martino Sorbaro, Qian Liu, Massimo Bortone, Sadique Sheik

TL;DR该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

Abstract

In the last few years, spiking neural networks have been demonstrated to perform on par with regular convolutional neural networks. Several works have proposed methods to convert a pre-trained CNN to a Spiking CN

spiking neural networks convolutional neural networks quantization-aware training energy consumption optimization strategy

发现论文，激发创造

SNN 和 CNN FPGA 实现的定量比较：是否使用尖峰？

本文研究卷积神经网络和脉冲神经网络在 FPGA 加速器上的性能和能量效率，探究 SNN 是否能实现减少能量要求等期望，结果发现在复杂的应用场景如 SVHN 和 CIFAR-10 上，SNN 的能量和效率优势并不明显，而在小规模 MNIST 等基准测试中，两者基本相当。

Jun, 2023

模拟到脉冲卷积神经网络的转换理论与工具

研究论文提出了一种将深度卷积神经网络（CNNs）转化为深度脉冲神经网络（SNNs）的新方法，并将该方法运用于常见的 CNN 操作（如最大池化、softmax 和批量归一化）的实现上，在实验中，该方法在 MNIST 和 CIFAR10 基准测试中表现出了迄今为止最佳的 SNN 结果。

Dec, 2016

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

神经形态硬件上的超低功耗图像分类

基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性，通过时间编码在功耗、吞吐量和延迟方面具有优势。

Sep, 2023

用于文本分类的脉冲卷积神经网络

本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

Jun, 2024

将传统人工神经网络转化为脉冲神经网络的最优方案

本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

Feb, 2021

低延迟脉冲神经网络的优化电位初始化

通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

Feb, 2022

tinySNN：面向内存和能量高效的脉冲神经网络

该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。

Jun, 2022

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023