May, 2023

产品量化及其硬件加速

PDF
TL;DR本文研究了在 DNNs 中将传统的 MAC 操作替换为使用 product quantization 时的计算和内存占用情况，采用不同的 PQ 设置和训练方法，设计了第一个定制的硬件加速器来评估运行 PQ 模型的速度和效率，发现与高度优化的传统 DNN 加速器相比，PQ 配置能够使 ResNet20 的面积性能提高 40% 至 104%，且硬件性能优于近期的 PQ 解决方案 4 倍，只有 0.6% 的精度降低，为 PQ 模型的更广泛采用铺平了道路。
multiply-accumulateproduct quantizationdnnshardware acceleratorefficiency
发现论文，激发创造
  • 基于二次幂量化的神经网络能效硬件加速

    通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

    Sep, 2022

  • 深度神经网络的超低精度无乘训练

    本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

    Feb, 2023

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022

  • 基于硬件的混合精度量化自动机器学习

    本文提出了一种基于深度强化学习的硬件感知自动量化框架 (HAQ)，旨在为不同的神经网络体系结构和硬件体系结构确定最佳的量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。 在硬件仿真器的帮助下，该框架的有效性已得到证明。

    Aug, 2020

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • 深度神经网络加速器中的量化和映射协同探索

    卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

    Apr, 2024

  • 超越产品量化：深度渐进量化用于图像检索

    该论文介绍了一种用于大规模图像检索的深度渐进量化模型，该模型学习逐步逼近视觉特征的量化码，并且可以同时训练不同码长的量化码，实现了优于现有技术的图像检索效果。

    Jun, 2019

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • RAPQ: 针对二次幂低比特后训练量化提高精度

    提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

    Apr, 2022

  • PIM-QAT：面向处理内存系统（PIM）的神经网络量化

    本研究提出了一种针对处理内存 (PIM) 量化的方法 (PIM-QAT)，通过分析训练动态，引入反向传播和前向传播重缩放技术，提出批归一化 (BN) 校准和调整精度训练等技术，有效地解决了硬件约束引起的非理想因素，实现了 PIM 系统中具有可比性的推理精度。

    Sep, 2022