Jun, 2023

SNN 和 CNN FPGA 实现的定量比较：是否使用尖峰？

PDF
TL;DR本文研究卷积神经网络和脉冲神经网络在 FPGA 加速器上的性能和能量效率，探究 SNN 是否能实现减少能量要求等期望，结果发现在复杂的应用场景如 SVHN 和 CIFAR-10 上，SNN 的能量和效率优势并不明显，而在小规模 MNIST 等基准测试中，两者基本相当。
convolutional neural networksspiking neural networksenergy efficiencyfpgasperformance
发现论文，激发创造
  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022

  • Spiker：面向脉冲神经网络的 FPGA 优化硬件加速

    该研究开发了一种基于 Xilinx Artix-7 FPGA 的硬件加速器，用于高性能 Spiking Neural Networks 推理，评估了该加速器的推理能力，并与现有的加速器进行比较。

    Jan, 2022

  • 针对神经形态应用优化突触神经网络的能耗消耗

    该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

    Dec, 2019

  • 深度学习加速的数字硬件视角：是否需要加速处理器？

    该研究比较了人工神经网络和脉冲神经网络的数字硬件加速技术和平台，以回答在设计新硬件时何时应参考大脑并何时应忽略的问题。

    Jun, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

    神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

    Dec, 2023

  • 神经形态硬件上的超低功耗图像分类

    基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性，通过时间编码在功耗、吞吐量和延迟方面具有优势。

    Sep, 2023

  • 用于文本分类的脉冲卷积神经网络

    本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法，提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式，并经验证通过使用替代梯度进行微调后，这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果，并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。

    Jun, 2024