Mar, 2021

Bit-Mixer: 运行时位宽选择的混合精度网络

HTML
PDF
TL;DR本文提出了 Bit-Mixer 方法，为高度精准预测训练多量化层的混合精度网络，在测试期间任何层都可以改变自己的比特宽度，并通过“转换批量归一化”和3阶段优化，展示了网络的训练过程以及具有理想的灵活性属性的混合精度网络可供设备部署，不会影响推断准确度。
发现论文，激发创造
  • 使用动态定点实现混合低精度深度学习推理

    本研究提出了一种基于聚类的量化方法，将预先训练好的全精度权重转换为三元权重，并将激活约束为8位，从而实现小于8位完整整数推理管道。此方法使用较小的N个过滤器的簇，并使用共同缩放因子来最小化量化损失，同时最大化三元操作的数量。在ResNet-101上使用N=4的簇大小，可以在替换了85％的所有乘法运算为8位累加之后，实现71.8％的TOP-1准确度。 使用4位权重的相同方法实现76.3％，相对于全精度结果的误差不到2％。同时，本研究还探讨了集群大小对性能和准确性的影响。 N=64的较大集群大小可以使用三元操作替换98％的乘法，但会显著降低准确性，需要在更低的精度下对参数进行微调和网络重新训练。为了解决这个问题，我们还使用全精度权重预初始化网络，通过8位激活和三元权重训练了低精度ResNet-50，在额外的4个epoch内实现了68.9％的TOP-1准确度。最终量化模型可以在完整的8位计算管道上运行，相对于基线全精度模型具有潜在的16倍性能提升。

    Jan, 2017

  • 基于内存的混合低精度量化，实现微控制器上深度网络推断

    本文提出了一种新颖的端到端方法，用于在微控制器上部署低误差的深度神经网络，通过混合低位宽压缩，结合8、4或2位均匀量化，以整数运算来建模推理图，旨在确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制，通过一个基于规则的迭代过程，运用量化感知的重训练，将虚假量化图转换为整数推理模型，使用整数通道归一化(ICN)图层将该模型部署到只有2MB的FLASH存储器和512kB的RAM设备上，并报告了基于 STM32H7 微控制器的混合精度 MobilenetV1 家族网络的延迟-精度评估结果，实验结果表明，相比于之前发表的微控制器8位实现，Top1 精度提高了8％，达到了68％。

    May, 2019

  • 贝叶斯位: 统一量化和剪枝

    Bayesian Bits是一种通过梯度优化实现联合混合精度量化和剪枝的实用方法，其采用一种新的量化操作分解，并引入可学习的随机门，通过对门进行近似推理，可以获得精度与效率之间更好的平衡的剪枝混合精度网络。

    May, 2020

  • FracBits: 通过小数位宽度实现混合精度量化

    提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层/核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

    Jul, 2020

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • 混合精度神经网络综述

    本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

    Aug, 2022

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在MobileNetV1和MobileNetV2上进行了评估，在具有不同硬件特性的多核RISC-V微控制器平台上展示了与8位模型相比高达28.6%的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • QBitOpt：训练过程中快速准确的位宽重新分配

    提出了一种名为QBitOpt的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在ImageNet上评价QBitOpt并证实了在固定和混合精度方法中的优越性。

    Jul, 2023

  • MixQuant：混合精度量化与位宽优化搜索

    量化是一种用于创建高效深度神经网络的技术，可以通过以低于32位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而MixQuant则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

    Sep, 2023

  • MetaMix: 混合精度激活量化的元状态精确搜索器

    提出了一种名为MetaMix的新方法，通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题，其通过降低混合精度量化中的激活不稳定性，实现快速、高质量的位选择，而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调，从而提供快速训练。在ImageNet数据集上对MobileNet v2、v3和ResNet-18等高效且难以量化的网络进行的实验显示，我们的方法在准确度与操作之间推动了混合精度量化的发展边界，并且在性能上超过了混合精度和单精度的SOTA方法。

    Nov, 2023