本文提出一种不同的量化方法，使用不同的参数化方法来训练深度神经网络，从而达到更高效深度神经网络推理的效果。通过多组实验验证，使用该方法训练得到的量化参数可以达到最佳效果。

May, 2019

提出了一种名为 MetaMix 的新方法，通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题，其通过降低混合精度量化中的激活不稳定性，实现快速、高质量的位选择，而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调，从而提供快速训练。在 ImageNet 数据集上对 MobileNet v2、v3 和 ResNet-18 等高效且难以量化的网络进行的实验显示，我们的方法在准确度与操作之间推动了混合精度量化的发展边界，并且在性能上超过了混合精度和单精度的 SOTA 方法。

Nov, 2023

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

提出了一种名为 QBitOpt 的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在 ImageNet 上评价 QBitOpt 并证实了在固定和混合精度方法中的优越性。

Jul, 2023

提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层 / 核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

Jul, 2020

量化是一种用于创建高效深度神经网络的技术，可以通过以低于 32 位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而 MixQuant 则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

Sep, 2023

本文提出了一种用于网络量化的 Efficient Bitwidth Search（EBS）算法和一种二进制分解算法，以实现不同精度的权重和激活的混合精度卷积，并证明了该方法在 CIFAR10 和 ImageNet 数据集上的表现优于已有方法。

Mar, 2020

本论文通过对模型宽度乘数的使用，研究了深度卷积神经网络中权重量化的最佳位宽选择，发现使用单一位宽比混合精度量化对模型压缩更优。

Aug, 2020

本文提出了一种名为 MultiQuant 的新型量化方法，它利用多支路拓扑结构将网络体重量化为固定的 2 位，从而避免了位宽切换造成的量化误差积累，并引入一种分摊指定激活位宽切换引起的量化误差的分支选择策略和一种提高性能的内部蒸馏策略。实验证明，与现有的任意位宽量化方法相比，MultiQuant 取得了显着的性能提升。

May, 2023

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019