提高前馈神经网络在脉冲神经形态芯片中的分类准确性

IJCAIMay, 2017

提高前馈神经网络在脉冲神经形态芯片中的分类准确性

Improving classification accuracy of feedforward neural networks for spiking neuromorphic chips

Antonio Jimeno Yepes, Jianbin Tang, Benjamin Scott Mashford

TL;DR使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

Abstract

deep neural networks (DNN) achieve human level performance in many image analytics tasks but DNNs are mostly deployed to GPU platforms that consume a considerable amount of power. New hardware platforms using lower precision arithmetic achieve drastic reductions in power consumption. M

deep neural networks neuromorphic chips truenorth configuration binary hardware crossbar eeg data

发现论文，激发创造

基于卷积神经网络的快速、节能的神经形态计算

本文介绍了一种基于突触剪枝和脉冲神经元结构的神经形态学计算机，其能够实现与深度神经网络相当的分类准确率，而且具有更高的能效和推理速度，在维持高吞吐量的同时能够达到节能的目的，并且使用反向传播算法进行指定和训练，使深度学习的算法能力与神经形态学处理器的效率相结合，从而更好地实现嵌入式人工智能的发展。

Mar, 2016

神经形态硬件上机器学习工作量的高效部署

本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

Oct, 2022

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

人工循环神经网络向脉冲神经网络的转换，以适配低功率神经形态硬件

该研究基于 “训练和限制” 方法，将基于 Elman RNN 的自然语言处理任务映射到 TrueNorth 芯片上，并通过脉冲神经元的模拟使用少量的 CPU 核心，实现了低功耗的 74% 准确度。

Jan, 2016

TrueNorth 芯片推理准确性、核心占用和性能协同优化的新学习方法

本文介绍了一种在 TrueNorth 平台上的学习方法，通过约束每个计算副本的随机变量并减少所需的副本数量，可以实现更高的执行效率和更准确的推理，最多可将所需的神经 - 突触核心减少 68.8％或加速 6.5 倍，推理精度略有提高。

Apr, 2016

脉冲神经网络的硬件实现与挑战：一项调查

该文概述了脉冲神经网络及其硬件实现的现状和趋势，介绍了在算法选择和训练机制方面的工作，描述了利用硬件提高该算法特性的策略以及相关的优点和挑战。

May, 2020

神经形态硬件上的超低功耗图像分类

基于时间编码的 ANN 到 SNN 转换方法 Quartz 在神经形态硬件上实现了高分类准确性，通过时间编码在功耗、吞吐量和延迟方面具有优势。

Sep, 2023

脉冲神经网络深度学习

该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

Apr, 2018

脉冲神经网络的直接训练：更快，更大，更好

通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

Sep, 2018

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023