精密且容错的模拟神经网络蓝图

Sep, 2023

A Blueprint for Precise and Fault-Tolerant Analog Neural Networks

Cansu Demirkiran, Lakshmi Nair, Darius Bunandar, Ajay Joshi

TL;DR通过使用残余数系统（RNS），我们研究表明，利用 RNS 基于方法的模拟加速器在只使用 6 位精度的数据转换器的情况下，可以实现优于 FP32 精度的 99% 以上的先进 DNN 推断，而传统的模拟核在相同的 DNN 中需要超过 8 位的精度才能达到同样的准确性。此外，我们还使用 RNS 扩展了该方法到 DNN 训练中，可以使用 7 位整数运算高效地训练 DNN，并达到与 FP32 精度相媲美的准确性。最后，我们提出了一种容错数据流，利用冗余 RNS 纠错码保护计算，以应对模拟加速器中的噪声和误差。

Abstract

analog computing has reemerged as a promising avenue for accelerating deep neural networks (DNNs) due to its potential to overcome the energy efficiency and scalability challenges posed by traditional digital architectures. However, achieving high precision and DNN accuracy using such

analog computing residue number system dnn inference energy consumption dnn training

发现论文，激发创造

利用残留数系统设计高精度模拟深度神经网络加速器

本文介绍了一种利用余数系统 (RNS) 来组成高精度操作的方法，从而在安宁卡尔作为高精度数模转换器 (A/D 转换) 的系统中实现了高准确性和良好的能量效率，并且使用 RNS 的误差容错能力可以实现具有容错性的模拟加速器，并且相较于常规定点方法，RNS 可以降低数据转换器的能耗数个数量级。

Jun, 2023

AnalogNAS: 一种用于准确推断的神经网络设计框架，基于模拟内存计算

本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

May, 2023

一种 ReRAM 模拟神经训练加速器的能量、延迟、面积和准确性的多尺度共设计分析

该研究详细分析了使用模拟电阻式存储器（ReRAM）跨栅执行关键矩阵操作以提高加速器性能，并与使用数字 ReRAM 和 SRAM 操作的相关设计进行了比较。结果显示，与类似的数字版加速器块相比，该模拟加速器具有能效更高的优势，并且可以成为进一步架构研究的基础。

Jul, 2017

光子学加速深度神经网络训练：基于残余数系统的设计

Mirage 是一种基于残留数系统（RNS）的光子深度神经网络（DNN）训练加速器，通过将 RNS 和光子学相结合，提供高能效、高精度且能够成功训练与 FP32 训练相媲美的 DNNs，相比系统阵列，平均可实现超过 23.8 倍的更快训练速度、32.1 倍的更低能耗与相当或更好的效率 - 功耗比（EDP）在等能端景下，以及 42.8 倍的更低功率消耗在等面积场景下。

Nov, 2023

准确、无乘法的深度神经网络的硬件 - 软件协同设计

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

深度正子：使用正电子数系统的深度神经网络

该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。

Dec, 2018

使用 8 位浮点数训练深度神经网络

本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

Dec, 2018

特别会议：DNN 加速器的逼近和容错性

本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

May, 2023

深度神经网络快速部署的量化技术

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

Sep, 2023