Apr, 2023

AutoQNN: 一种自动量化神经网络的端到端框架

PDF
TL;DR本文提出一种名为 AutoQNN 的端到端框架，通过引入量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三种技术，自动实现对不同深度神经网络（DNN）模型的不同层进行不同方案和不同精度的量化，无需人工干预，实现对深度神经网络的自动量化。实验表明，AutoQNN 相对于现有的量化算法在准确性和效率上都表现得更优秀。
quantizingdnnsautomatic compressionmixed-precision policiesend-to-end framework
发现论文，激发创造
  • AutoQ: 自动化的基于内核的神经网络量化

    本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

    Feb, 2019

  • 基于硬件的混合精度量化自动机器学习

    本文提出了一种基于深度强化学习的硬件感知自动量化框架 (HAQ)，旨在为不同的神经网络体系结构和硬件体系结构确定最佳的量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。 在硬件仿真器的帮助下，该框架的有效性已得到证明。

    Aug, 2020

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

    通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

    Dec, 2023

  • ReLeQ: 神经网络深度量化的强化学习方法

    本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法，该方法可以在保持准确性的同时，将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验，结果表明，这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失)，并使传统硬件的速度提高了 2.2 倍，同时，与 8 位运行相比，定制的 DNN 加速器的速度提高了 2.0 倍和节能。

    Nov, 2018

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 寻找最佳量化策略的可微分搜索

    通过深度神经网络的量化算法的不同量化策略搜索，我们提出了一种可微分量化策略搜索（DQSS）方法，为每个层分配最优的量化策略，并在图像分类和图像超分辨率等计算机视觉任务中验证了其有效性。

    Apr, 2024

  • 面向硬件特定的神经网络自动压缩技术

    使用强化学习方法的算法框架 Galen，可以自动压缩特定硬件目标的神经网络模型，不仅支持修剪、量化等压缩方法的联合搜索，还将目标硬件设备上的推理延迟作为优化目标，通过该方法能够将 CIFAR-10 上的 ResNet18 模型，在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%，精度损失不大。

    Dec, 2022

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017