Sep, 2023

基于相变存储器模拟硬件的深度神经网络量化以促进权重自校正

PDF
TL;DR近年来，硬件加速神经网络在边缘计算应用中引起了重视。在各种硬件选项中，交叉阵列为神经网络权重的高效存储和操作提供了有希望的途径。然而，从经过训练的浮点模型转向硬件约束的模拟体系结构仍然是一个挑战。在这项工作中，我们将一种专为这种体系结构设计的量化技术与一种新颖的自校正机制相结合。通过利用双交叉栏连接来表示单个权重的正负部分，我们开发了一种算法来近似一组乘法权重。这些权重以及它们的差异旨在以最小的性能损失来表示原始网络的权重。我们使用 IBM 的 aihwkit 实现了这些模型，并随时间评估了它们的效力。我们的结果表明，当与芯片上的脉冲发生器配对时，我们的自校正神经网络在性能上与那些经过模拟感知算法训练的网络相当。
hardware-accelerated neural networkscrossbar arraysquantization techniqueself-correcting mechanismanalog-aware algorithms
发现论文，激发创造
  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • 基于二次幂量化的神经网络能效硬件加速

    通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

    Sep, 2022

  • 超高效 DNN 实现的剪枝量化优化忆阻交叉开关网络

    本文提出了一种基于 memristor 的 DNN 框架，该框架将结构化权重修剪和量化相结合，利用交替方向乘子法（ADMM）算法进行更好的修剪和量化性能，并设计了一种软硬件优化框架，实现了高压缩比和几乎无精度损失的量化。

    Aug, 2019

  • 量化神经网络的训练：深入理解

    本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

    Jun, 2017

  • 探讨使用 Batchnorm 优化在内存计算中缓解不同硬件噪声的作用和限制

    本文研究了模拟交叉开关中的非理想误差，通过在线优化进行微调，以减少训练成本和内存，并减少量化误差和非理想误差，提高深度神经网络的性能。

    May, 2023

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • 使用 ADMM 的结构化权重剪枝和量化的超高效基于忆阻器的 DNN 框架

    这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在 VGG-16（ResNet-18）网络上，与原始 DNN 模型相比，该框架实现了 29.81X（20.88X）的权重压缩比，98.38％（96.96％）和 98.29％（97.47％）的功耗和面积降低，并仅有 0.5％（0.76％）的精度损失。

    Aug, 2019

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022