本研究通过采用贝叶斯视角，使用稀疏感知先验来修剪网络，使用Hierarchical priors修剪节点并使用后验不确定性确定编码权重的最优固定点精度，使得压缩率达到了最佳水平，并且仍然具有与优化速度或能量效率的方法相竞争的性能。

May, 2017

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

本文提出了一种迭代的量化技术，将权重量化和完整精度权重的重新训练结合起来，以达到高压缩比和减少量化损失，同时证明该方法能够有效地利用剪枝等其他模型压缩技术，实现在PTB数据集上使用1-bit量化重量的LSTM模型，减少了硬件资源需求但不会降低准确性。

May, 2018

本研究提出了一种DNN训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪SGD的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在ImageNet上使用ResNet18观察到了11.7倍的权重减少无准确性损失，最多可达24.4倍，但具有小的准确性影响。

Jun, 2018

该论文提出了一种基于量化的后训练量化流程，无需重新训练即可加速深度神经网络的推理，并得到了在ImageNet上6位的Top-1准确率增加2.2%的结果。

Oct, 2022

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低39%，平均精度损失为1.7%。

Dec, 2023

通过一种一次性训练-搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

Jan, 2024

利用动态配置的早期退出框架，在深度学习中实现了可伸缩性和压缩技术，显著减少计算复杂度并提供实时配置和精细的性能调节能力。

Mar, 2024

深度神经网络的模型压缩是提高计算效率和减小内存占用的必要手段。本文通过数学证明和实证研究，发现在计算操作中先应用稀疏化再进行量化是最优的操作次序，以最小化计算误差。同时，稀疏化和量化的相互作用会对模型精度造成重要的影响，其中量化误差在这一降低中起到主导作用。研究结果对于在资源有限的计算平台上高效部署大型模型和降低计算成本非常有价值，为应用这些压缩方法以最大化效果而不损害准确性提供了指导。

May, 2024

本文提出了一种新的Extreme Checkpoint Compression（ExCP）框架，通过计算相邻检查点的残差和利用权重-动量联合收缩方法来压缩检查点的存储空间，并利用非均匀量化进一步减小存储空间，实现了大规模语言模型的高效训练和压缩。

Jun, 2024