提出了一种软硬编码的方法用于神经图像压缩，通过先学习一个表达力强的隐变量空间，再采用硬编码方法解决了训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验结果表明该方法在复杂压缩模型上表现稳定且有效。
Apr, 2021
本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.
Oct, 2018
为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。
Feb, 2024
该研究提出了一种基于神经网络的反向数据量化策略，通过在神经网络最后一层形成预定义超球体点的无参数量化器，训练神经网络来实现对数据进行适配的目标；通过 Kozachenko-Leonenko 差分熵估计器导出新的正则化项来强制实现数据空间内的均匀性，并进行本地特性感知的 Triplet Loss，实验结果表明这种方法的性能优于大多数方法，与现有的最佳方法相当。
Jun, 2018
本文介绍了一种称作 “非均匀到均匀量化”（N2UQ）的方法，它在保持非均匀方法优秀的表示能力的同时，还能像均匀量化一样友好地并高效地部署在硬件中，这是通过学习非均匀量化中的灵活非等距输入阈值来实现的，其中引入了 “广义的 ST（straight-through）估计器”（G-STE），还考虑了熵保持正则化减少损失。该方法在 ImageNet 数据集上表现优异，比同类非均匀量化方法高出 0.5～1.7 个百分点。
Nov, 2021
该论文介绍了一种统一的框架来解决网络量化问题，通过引入一种新型的距离感知量化器 (DAQ), 该方法既解决了梯度匹配问题，也解决了量化差异问题，有效提高了各种位宽下的网络性能。
Aug, 2021
量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。
Aug, 2023
通过实现一种统一的量化方式，消除训练和测试阶段的不匹配，使我们能够使用可完全区分的损失函数学习编码器。当遇到没有关于分布的假设时，这种方法的通用性可能会面临计算上的困难。最后，我们还展示了量化如何通过软量化实现，从而将压缩与无量化桥接起来。
Jun, 2020
本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。
Mar, 2023
我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。