本文研究了低精度随机梯度 Langevin 动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。

Jun, 2022

低精度训练是一种具有低成本的技术，可以提高深度神经网络的训练效率，而不会牺牲太多准确性。本文通过在强对数凹和非对数凹分布中使用低精度和全精度梯度累加器的随机梯度哈密顿蒙特卡罗（SGHMC）进行低精度采样的研究。理论上，我们的结果表明，对于非对数凹分布，在 2-Wasserstein 距离中实现 ε- 错误，与最先进的低精度采样器随机梯度朗之万动力学（SGLD）相比，低精度 SGHMC 实现了二次改进（〜O（ε^ -2μ^ -2 log^2（ε^ -1）））。此外，我们证明了相对于低精度的 SGLD，低精度的 SGHMC 对量化误差更具鲁棒性，因为基于动量的更新对梯度噪音具有鲁棒性。实验上，我们在合成数据，MNIST、CIFAR-10 和 CIFAR-100 数据集上进行了实验，验证了我们的理论发现。我们的研究突出了低精度 SGHMC 作为一种高效精确的大规模和资源有限的机器学习采样方法的潜力。

Oct, 2023

SWALP 是一种低精度训练方法，可提高可扩展性，节省内存，提高可移植性和节能效果，在 8 位量化下，包括梯度累加器，在保持与完全精度 SGD 相匹配性能的同时，使用修改的学习率计划平均低精度 SGD 迭代。此外，该方法还表现出良好的收敛性能，特别是在二次型目标上。

Apr, 2019

通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

May, 2024

该研究提出了一种名为 PArallel Low-precision Quantization (PalQuant) 的方法，其通过学习从头开始的并行低精度表示来逼近高精度计算，并且使用循环洗牌模块提升并行低精度组之间的信息通信，与现有量化方法相比，PalQuant 在精度和推理速度上具有优异的性能。

Aug, 2022

该论文探讨了在低精度下使用机器学习模型进行训练的可行性，提出了一种名为 ZipML 的框架，通过双重采样策略实现线性模型的低精度训练，避免了由于量化导致的引入偏差问题，并在各种应用场景中进行了验证。同时，通过使用方差优化的随机量化策略，在包括非线性模型在内的多种情况下，得出了有关低精度机器学习的重要结论和实用价值。

Nov, 2016

通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。

Jun, 2024

研究深度神经网络的激活量化问题，提出了一种半波高斯量化器（HWGQ）来近似 ReLU 非线性激活函数，并探讨了多种反向逼近方式以解决梯度失配问题，实现的量化网络 HWGQ-Net 的性能比以前的低精度网络如二进制权重和二位量化激活的网络接近全精度网络（如 AlexNet，ResNet，GoogLeNet 和 VGG-Net）。

Feb, 2017

通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们能够在目标约束下重构全局结构剪枝问题，从而通过我们的增强型背包求解器解决问题，从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。

Oct, 2021

针对物联网设备需求趋升，要求在边缘实时、高效、安全地处理数据的机器学习需求，本研究提出了一种新的隐私保护量化方法 RQP-SGD，结合差分隐私随机梯度下降（DP-SGD）与随机量化，实现低内存机器学习模型的训练，同时保护底层数据集的隐私并展示了其在凸目标和量化约束下的实用性和有效性。

Feb, 2024