探讨使用 Batchnorm 优化在内存计算中缓解不同硬件噪声的作用和限制

May, 2023

探讨使用 Batchnorm 优化在内存计算中缓解不同硬件噪声的作用和限制

Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing

Abhiroop Bhattacharjee, Abhishek Moitra, Youngeun Kim, Yeshwanth Venkatesha, Priyadarshini Panda

TL;DR本文研究了模拟交叉开关中的非理想误差，通过在线优化进行微调，以减少训练成本和内存，并减少量化误差和非理想误差，提高深度神经网络的性能。

Abstract

in-memory computing (IMC) platforms such as analog crossbars are gaining focus as they facilitate the acceleration of low-precision deep neural n

in-memory computing analog crossbars deep neural networks non-idealities fine-tuning

发现论文，激发创造

基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。

Sep, 2023

增强边缘端神经网络可靠性：随机仿射变换的反向归一化

提出了一种用于提高内存计算架构中部署的 BayNN 的鲁棒性和推断准确性的方法，其中引入了一个新型的标准化层以及随机的仿射变换，经过各种基准数据集的实证结果表明，推断准确性呈现出优雅的降级，改进幅度高达 58.11%。

Jan, 2024

利用计算相变存储进行准确的深度神经网络推断

介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％的 CIFAR-10 数据集和 71.6％的 ImageNet 基准测试的 top-1 精度。

Jun, 2019

PIM-QAT：面向处理内存系统（PIM）的神经网络量化

本研究提出了一种针对处理内存 (PIM) 量化的方法 (PIM-QAT)，通过分析训练动态，引入反向传播和前向传播重缩放技术，提出批归一化 (BN) 校准和调整精度训练等技术，有效地解决了硬件约束引起的非理想因素，实现了 PIM 系统中具有可比性的推理精度。

Sep, 2022

ClipFormer：用于减轻写入噪声的记忆电阻交叉栅架上的 Transformer 键值剪裁

通过 ClipFormer 改进模型，可以在具有非理想电流操作的交叉栏上提高预训练 Vision Transformers 的准确性。

Feb, 2024

强缺陷神经形态硬件鲁棒训练方法的实验演示

硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

Dec, 2023

超高效 DNN 实现的剪枝量化优化忆阻交叉开关网络

本文提出了一种基于 memristor 的 DNN 框架，该框架将结构化权重修剪和量化相结合，利用交替方向乘子法（ADMM）算法进行更好的修剪和量化性能，并设计了一种软硬件优化框架，实现了高压缩比和几乎无精度损失的量化。

Aug, 2019

面向量化神经网络的高效内存计算硬件：最新技术、挑战与展望

云处理、边缘处理、内存计算、网络压缩技术、量化神经网络是本研究的主要关键词。本文提供了内存计算量化神经网络的全面回顾，并将软件量化方法与内存计算硬件实现相结合。此外，还提供了挑战、设计要求、建议以及基于内存计算量化神经网络的硬件发展路线图。

Jul, 2023

批量归一化对深度学习模型噪声抗干扰性的影响

通过在 CIFAR10 和 CIFAR100 数据集上测试，研究了批规范化层对深度学习模型抗噪声能力的影响，结果表明批规范化层会对模型的噪声抗性产生负面影响，影响程度随批规范化层数增加而增加。

May, 2022

交叉栏感知神经网络剪枝

该论文提出了一种基于 L0-norm 约束优化问题的交叉栏架构感知修剪框架，其中采用了 L0-norm 约束梯度下降（LGD）与弛豫概率投影（RPP）来寻找两个阶段的稀疏性，并提出了输入特征映射（FMs）重新排序方法来提高模型准确性。实验结果表明，该方法可在不降低准确性的情况下将交叉栏架开销减少 44％-72％，为在各种交叉栏架设备上映射 CNN 提供了一种高效的新型协同设计解决方案。

Jul, 2018