面向高效 DNN 推理的分布感知对数 Posit 编码算法硬件协同设计

Mar, 2024

面向高效 DNN 推理的分布感知对数 Posit 编码算法硬件协同设计

Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference

Akshat Ramachandran, Zishen Wan, Geonhwa Jeong, John Gustafson, Tushar Krishna

TL;DR本研究介绍了一种基于对数正数（LP）的自适应、硬件友好的数据类型，通过参数化 LP 位域，动态适应深度神经网络（DNN）的权重 / 激活分布。我们还开发了一种基于遗传算法的 LP 量化（LPQ）框架，通过新颖的全局 - 局部对比目标减小量化与全精度模型之间的表示差异。此外，我们设计了一个统一的混合精度 LP 加速器（LPA）体系架构，其中计算数据路径中的处理元件（PE）采用 LP。我们的算法 - 硬件协同设计在各种 CNN 和 ViT 模型上实现了平均小于 1% 的 top-1 准确率下降，与使用不同数据类型的最先进量化加速器相比，性能单位面积提高了约 2 倍，并提高了 2.2 倍的能源效率。

Abstract

Traditional deep neural network (DNN) quantization methods using integer, fixed-point, or floating-point data types struggle to capture diverse DNN parameter distributions at low precision, and often require larg

deep neural network quantization methods logarithmic posits lp quantization lp accelerator

发现论文，激发创造

使用对数数据表示的卷积神经网络

本文提出了一种新的数据表示方式，使得可以使用低至 3 位定点数对先进的卷积神经网络进行编码而几乎不损失分类性能，并使用非线性、基于 2 的对数表示法来进行权重编码、激活通信和点积计算，从而能够取得比相同精度的定点数有更高的分类精度，并消除笨重的数字乘法器，最终提出了一种端到端训练流程，使用 5 位对数表示法，最终测试精度比 5 位线性表示法更高。

Mar, 2016

对数无偏量化：深度学习中简单的 4 位训练

本篇论文讨论了深度神经网络量化的训练过程，提出了一种对称、无偏、对数化的量化方法，能够达到新的四位量化水平，有效地减少了量化过程的计算开销，同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。

Dec, 2021

准确、无乘法的深度神经网络的硬件 - 软件协同设计

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

基于二次幂量化的神经网络能效硬件加速

通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

Sep, 2022

深度学习中的浮点数重新思考

通过优化浮点数表示方式，我们在 28 纳米芯片上实现了基于神经网络的推断和训练的更高能效性能，这种优化不需要重新训练神经网络和更改参数。

Nov, 2018

基于硬件的混合精度量化自动机器学习

本文提出了一种基于深度强化学习的硬件感知自动量化框架 (HAQ)，旨在为不同的神经网络体系结构和硬件体系结构确定最佳的量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。在硬件仿真器的帮助下，该框架的有效性已得到证明。

Aug, 2020

HAQ: 硬件感知自动混合精度量化

本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

Nov, 2018

可微联合剪枝和量化提高硬件效率

我们提出了一种可微的联合剪枝和量化 (DJPQ) 方案，将神经网络压缩视为联合基于梯度的优化问题，在模型剪枝和量化之间自动地进行权衡，以实现硬件效率，相比之下，我们的方法使用户能够在单个培训过程中找到两者之间的最佳权衡。

Jul, 2020

PikeLPN: 低精度神经网络的潜在效率问题缓解

低精度量化在神经网络优化中得到广泛应用，非量化的逐元素操作主导了低精度模型的推理成本，本文提出了 ACEv2 以更好地衡量量化模型的推理成本和能耗，并介绍了一种名为 QuantNorm 的批归一化层的新型量化技术，以及应用双量化解决量化缩放参数的问题以及引入 Distribution-Heterogeneous Quantization 来解决可分离卷积层中的分布不匹配问题，PikeLPN 在效率和准确性的权衡中实现 Pareto 优化，并比 SOTA 低精度模型提高了 3 倍的效率。

Mar, 2024

通过 - 1 和 + 1 的编码分解实现多精度量化神经网络

为了应用 DNN 在移动设备中，我们提出了压缩 QNN 的新编码方案，使用 {-1, +1} 将其分解成多个二进制网络，使用位运算 (xnor 和 bitcount) 实现模型压缩、计算加速和资源节约。我们的方法非常适合在 FPGA 和 ASIC 上使用，验证了在大规模图像分类 (例如 ImageNet) 和物体检测任务中具有与全精度相近的性能。

May, 2019