Oct, 2022

神经形态硬件上机器学习工作量的高效部署

PDF
TL;DR本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。
edge computingdeep learning hardwarespiking neural networksneuromorphic hardwaresnn improvement techniques
发现论文，激发创造
  • 低功耗神经形态处理硬件

    本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

    Jan, 2019

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017

  • 深度学习加速的数字硬件视角：是否需要加速处理器？

    该研究比较了人工神经网络和脉冲神经网络的数字硬件加速技术和平台，以回答在设计新硬件时何时应参考大脑并何时应忽略的问题。

    Jun, 2023

  • 可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

    神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

    Dec, 2023

  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022

  • 一种用于图像分割的脉冲神经网络

    本文研究了基于神经形态计算在计算机视觉领域中的可扩展性，为了实现在降低功耗的同时达到非神经形态计算的性能。我们将深度神经网络架构 U-Net 转化为脉冲神经网络架构，并采用 ISBI 2D EM Segmentation 数据集对其进行训练和优化。我们提出了一种优化多芯片网络部署的分区方法，并探讨了对定期发放率进行正则化以最小限度地减少精度损失和优化能量消耗的优势。最终在 Intel Loihi 神经形态芯片上进行的神经形态实现比传统硬件 (CPU，GPU) 在线运行时节省能源的倍数，同时在不牺牲网络的任务性能准确性的情况下实现了这些功率改进。

    Jun, 2021

  • 深度网络加速器在医疗和生物医学应用中的硬件实现

    本文介绍了各种技术如何被用于发展高效的深度学习加速器以解决医疗保健中的医学诊断、模式识别和信号处理等问题，同时探讨脉冲神经形态处理器如何拓展更多医学信号。最终，该文为读者提供了关于医疗保健和生物医学领域中不同加速器和神经形态处理器的优缺点、挑战和机遇的分析。

    Jul, 2020

  • 基于卷积神经网络的快速、节能的神经形态计算

    本文介绍了一种基于突触剪枝和脉冲神经元结构的神经形态学计算机，其能够实现与深度神经网络相当的分类准确率，而且具有更高的能效和推理速度，在维持高吞吐量的同时能够达到节能的目的，并且使用反向传播算法进行指定和训练，使深度学习的算法能力与神经形态学处理器的效率相结合，从而更好地实现嵌入式人工智能的发展。

    Mar, 2016

  • 实时面部表情识别：神经形态硬件对边缘人工智能加速器的比较

    本研究聚焦于实时人脸表情识别（FER）系统作为社会机器人等各种现实世界应用的重要组成部分。我们调查了两种用于边缘部署 FER 机器学习（ML）模型的硬件选择：神经形态硬件和边缘 AI 加速器。我们的研究包括详尽的实验，对比分析了 Intel Loihi 神经形态处理器与四种不同的边缘平台：Raspberry Pi-4、Intel Neural Compute Stick（NSC）、Jetson Nano 和 Coral TPU。实验结果表明，Loihi 与边缘加速器相比，能够实现功耗降低约两个数量级，以及能耗节约约一个数量级。这些功耗和能耗的降低是在维持神经形态解决方案与边缘加速器相当准确性的情况下实现的，而且都在实时延迟要求内。

    Jan, 2024

  • 脉冲神经网络的硬件实现与挑战：一项调查

    该文概述了脉冲神经网络及其硬件实现的现状和趋势，介绍了在算法选择和训练机制方面的工作，描述了利用硬件提高该算法特性的策略以及相关的优点和挑战。

    May, 2020