深度学习加速的数字硬件视角：是否需要加速处理器？

Jun, 2023

深度学习加速的数字硬件视角：是否需要加速处理器？

To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration

Fabrizio Ottati, Chang Gao, Qinyu Chen, Giovanni Brignone, Mario R. Casu...

TL;DR该研究比较了人工神经网络和脉冲神经网络的数字硬件加速技术和平台，以回答在设计新硬件时何时应参考大脑并何时应忽略的问题。

Abstract

As deep learning models scale, they become increasingly competitive from domains spanning computer vision to natural language processing; however, this happens at the expense of efficiency since they require increasingly more memory and computing power. The power efficiency of the biol

deep learning neuromorphic computing spiking neural networks hardware backends digital hardware acceleration

发现论文，激发创造

脉冲神经网络的硬件实现与挑战：一项调查

该文概述了脉冲神经网络及其硬件实现的现状和趋势，介绍了在算法选择和训练机制方面的工作，描述了利用硬件提高该算法特性的策略以及相关的优点和挑战。

May, 2020

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

神经形态硬件上机器学习工作量的高效部署

本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

Oct, 2022

脉冲神经网络深度学习

该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

Apr, 2018

深度网络加速器在医疗和生物医学应用中的硬件实现

本文介绍了各种技术如何被用于发展高效的深度学习加速器以解决医疗保健中的医学诊断、模式识别和信号处理等问题，同时探讨脉冲神经形态处理器如何拓展更多医学信号。最终，该文为读者提供了关于医疗保健和生物医学领域中不同加速器和神经形态处理器的优缺点、挑战和机遇的分析。

Jul, 2020

SNN 和 CNN FPGA 实现的定量比较：是否使用尖峰？

本文研究卷积神经网络和脉冲神经网络在 FPGA 加速器上的性能和能量效率，探究 SNN 是否能实现减少能量要求等期望，结果发现在复杂的应用场景如 SVHN 和 CIFAR-10 上，SNN 的能量和效率优势并不明显，而在小规模 MNIST 等基准测试中，两者基本相当。

Jun, 2023

脉冲神经网络与生物启发式监督深度学习：综述

该论文综述了近期生物学启发的人工智能方法，重点介绍了脉冲神经网络模型及其训练中的挑战，以及用于传统网络和脉冲网络的生物启发式训练方法，以推进当前模型的计算能力和生物合理性。

Jul, 2023

在 BrainScaleS 晶圆尺度系统上训练深度脉冲网络的神经形态硬件闭环

本文介绍了如何利用迭代更新来补偿模拟神经网络在模拟硬件中出现的异常，并展示了在 BrainScaleS 芯片上优化后的脉冲神经网络，使计算性能得到提高。同时，利用记录硬件网络活动并通过反向传播在软件上计算参数更新的方式，仅经过几十次迭代，该脉冲网络显示出了接近理想的计算性能，证明了其在解决模拟硬件固有变异等问题方面的潜力。

Mar, 2017

一种支持新兴神经编码的资源高效脉冲神经网络加速器

该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

Jun, 2022

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023