提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层 / 核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

Jul, 2020

通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

Jul, 2024

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

本文提出了一种基于加密算法 / 架构的量化压缩方法，通过加入 XOR 门并利用反向传播进行梯度计算，实现了每个权重有小数位的量化比特数，并可用于深度神经网络，结果表明相比二进制神经网络，该方法能够在模型准确性和模型尺寸上达到更好的平衡。

Sep, 2020

研究提出了一个名为 FracBNN 的新型二进制神经网络模型，利用分数激活方法，通过双精度激活方案和新型冷却器编码等技术解决旧模型在现实数据集（如 ImageNet）表现不佳的问题。FracBNN 可以实现同等规模的 MobileNetV2 的精准率，且模型尺寸减少了 2.5 倍。在嵌入式 FPGA 设备上，FracBNN 显示出实时图像分类的能力。

Dec, 2020

本研究提出了一种新的方法 (S2FP8) ，使用 8 位浮点（FP8）数来训练深度神经网络，可以在训练时实现更大的有效内存和增加计算速度，并且在 ResNet-50、Transformer 和 NCF 等模型中表现良好，无需微调损失缩放参数或使某些层在单精度中运行；同时，引入了一些可学习的 DNN 张量统计上的偏移和挤压参数，以优化 8 位张量的使用范围，从而减少量化带来的信息损失。

Jan, 2020

该论文提出了一种基于量化的后训练量化流程，无需重新训练即可加速深度神经网络的推理，并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。

Oct, 2022

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

本文提出一种基于二次幂值的、专注于稀疏 CNN 的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在 ResNet-50 网络上实现 18.08x CR 的压缩效果，同时也证明更硬件有效。

Mar, 2019