该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用32位浮点表示的传统实现，数据足迹可以平均减少74％，最高可降至92％，而相对准确性损失不到1％。

Nov, 2015

该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小21.1倍或计算量降低103.9倍

Nov, 2018

本文提出了一种用于网络量化的Efficient Bitwidth Search（EBS）算法和一种二进制分解算法，以实现不同精度的权重和激活的混合精度卷积，并证明了该方法在CIFAR10和ImageNet数据集上的表现优于已有方法。

Mar, 2020

本文提出了 Bit-Mixer 方法，为高度精准预测训练多量化层的混合精度网络，在测试期间任何层都可以改变自己的比特宽度，并通过“转换批量归一化”和3阶段优化，展示了网络的训练过程以及具有理想的灵活性属性的混合精度网络可供设备部署，不会影响推断准确度。

Mar, 2021

采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

Oct, 2021

该研究提出利用量化器中的可学习参数作为量化精度重要指标，通过一次整数线性规划来确定混合精度量化的最佳位宽以提高时间效率，并在多种模型中实现了 SOTA 精度。

Mar, 2022

本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

Aug, 2022

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在MobileNetV1和MobileNetV2上进行了评估，在具有不同硬件特性的多核RISC-V微控制器平台上展示了与8位模型相比高达28.6%的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

提出了一种名为MetaMix的新方法，通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题，其通过降低混合精度量化中的激活不稳定性，实现快速、高质量的位选择，而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调，从而提供快速训练。在ImageNet数据集上对MobileNet v2、v3和ResNet-18等高效且难以量化的网络进行的实验显示，我们的方法在准确度与操作之间推动了混合精度量化的发展边界，并且在性能上超过了混合精度和单精度的SOTA方法。

Nov, 2023

对于大型和高性能的视觉基础模型（Vision Foundation Models，VFMs）进行任意位操作（BitOPs）的压缩，以在各种硬件上部署。我们提出了将VFM微调为混合精度量化超网络的方法，该超网络进行神经架构搜索（NAS），可以训练超网络，然后可以提取在任意硬件预算内的子网络。针对现有方法在优化混合精度搜索空间和训练过程中产生大量内存开销方面的困难，我们首先通过比较不同操作符（如分辨率、特征大小、宽度、深度和位宽）的性能和BitOPs减少来研究微调VFM的有效搜索空间设计。其次，我们提出了一种使用低秩适配器（LoRA）和渐进训练策略的内存高效超网络训练方法。该方法在最近提出的VFM（Segment Anything Model）上进行了评估，并在分割任务上微调。搜索出的模型在不降低性能的情况下减少了约95%的BitOPs。

Mar, 2024