Jul, 2020

FracBits: 通过小数位宽度实现混合精度量化

HTML
PDF
TL;DR提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层/核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。
发现论文，激发创造
  • 实用混合精度神经网络的高效比特宽度搜索

    本文提出了一种用于网络量化的Efficient Bitwidth Search（EBS）算法和一种二进制分解算法，以实现不同精度的权重和激活的混合精度卷积，并证明了该方法在CIFAR10和ImageNet数据集上的表现优于已有方法。

    Mar, 2020

  • HMQ: 用于卷积神经网络的硬件友好型混合精度量化块

    本文提出了HMQ，一个基于Gumbel-Softmax估计器的混合精度量化块，搜索有限的量化方案空间，以覆盖在边缘设备硬件实现中需要的均匀和具有2的幂级别阈值的量化器需求，并在CIFAR10和ImageNet训练的分类模型上应用HMQ，证明在一些情况下，虽然添加了限制，但也能够实现竞争性和最先进的结果。

    Jul, 2020

  • Bit-Mixer: 运行时位宽选择的混合精度网络

    本文提出了 Bit-Mixer 方法，为高度精准预测训练多量化层的混合精度网络，在测试期间任何层都可以改变自己的比特宽度，并通过“转换批量归一化”和3阶段优化，展示了网络的训练过程以及具有理想的灵活性属性的混合精度网络可供设备部署，不会影响推断准确度。

    Mar, 2021

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • 混合精度神经网络综述

    本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

    Aug, 2022

  • Vision Transformer的补丁混合精度量化

    本文提出了一种基于patch的混合精度量化方法，用于ViTs神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于ViTs变得容易。

    May, 2023

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在MobileNetV1和MobileNetV2上进行了评估，在具有不同硬件特性的多核RISC-V微控制器平台上展示了与8位模型相比高达28.6%的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • MixQuant：混合精度量化与位宽优化搜索

    量化是一种用于创建高效深度神经网络的技术，可以通过以低于32位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而MixQuant则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

    Sep, 2023

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练-搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024

  • AdaQAT：自适应比特宽度量化感知训练

    本文介绍了AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT在从头开始训练和微调场景中表现良好，并在CIFAR-10和ImageNet数据集上使用ResNet20和ResNet18模型表明我们的方法与最先进的混合精度量化方法竞争力强。

    Apr, 2024