通过实现一种统一的量化方式，消除训练和测试阶段的不匹配，使我们能够使用可完全区分的损失函数学习编码器。当遇到没有关于分布的假设时，这种方法的通用性可能会面临计算上的困难。最后，我们还展示了量化如何通过软量化实现，从而将压缩与无量化桥接起来。

Jun, 2020

本篇论文提出了一种基于端到端训练策略的学习深层结构中可压缩表示的新方法，此方法基于分段连续函数，将分段函数在训练过程中逐渐退化为其离散化函数。并且作者将该方法应用于图片压缩和神经网络压缩两个具有挑战性的领域，取得了与基于不同方法的最先进技术相当的成果。

Apr, 2017

本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

Oct, 2018

描述一种图像压缩方法，其由非线性分析变换、均匀量化器和非线性合成变换构成，并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换，其中联合非线性性选择实现形式的局部增益控制，利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能，以及一个连续的代理来引入量化器产生的不连续损失函数，具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。

Nov, 2016

本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

Apr, 2020

本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案，以在达到压缩比约束的前提下最小化网络量化的性能损失，并进行了 LeNet，32 层 ResNet 和 AlexNet 的压缩实验。

Dec, 2016

基于梯度训练的学习图像压缩中，量化方法的选择对于训练和测试的匹配性和梯度估计的风险存在权衡，本研究提出了一种基于随机均匀退火的方法，通过可调的温度系数来控制权衡，并使用两个巧妙的技巧改进了现有的量化方法，取得了比代表性图像压缩网络上现有方法更好的性能。

Sep, 2023

通过使用带有 K 个条目的码簿进行实值权重的量化，我们提出了一种新方法，该方法基于模型压缩作为约束优化框架，交替进行连续权重的网络学习和权重量化（或二值化 / 三值化）的步骤，以便在量化网络的损失上收敛到局部最优解。

Jul, 2017

本文提出了 DiffQ，一种不需要渐近梯度估计的可微方法，用于在训练期间对模型参数进行量化。DiffQ 在多个基准测试和体系结构上进行了实验验证，对于图像分类、语言建模和音频源分离等任务，能够优化每个权重或一组权重使用的位数，并在模型精度损失 0.3% 的情况下将 12 层的变压器模型压缩了超过 8 倍 。

Apr, 2021

通过在预训练的单速率压缩模型上进行后训练，本研究提出了三种改进方法，包括多目标优化、引入量化 - 重建偏移和使用变速率量化。在三个著名的图像压缩模型上实施这些算法后，实现了可变速率压缩，且与训练多个模型相比，压缩性能几乎没有或只有微小的损失。

Feb, 2024