简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

Dec, 2019

该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

Dec, 2018

本研究通过采用贝叶斯视角，使用稀疏感知先验来修剪网络，使用 Hierarchical priors 修剪节点并使用后验不确定性确定编码权重的最优固定点精度，使得压缩率达到了最佳水平，并且仍然具有与优化速度或能量效率的方法相竞争的性能。

May, 2017

本文提出了一种基于修剪框架的深度神经网络压缩方法，实现了自动确定各个层稀疏度的功能，并通过在两种 DNN 架构上进行图像分类任务的实验验证了该方法的有效性。

Jan, 2019

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

Oct, 2020

本文探讨了神经网络压缩问题，利用率失真理论解释了压缩比和神经网络性能之间的张力，提出了一种压缩和失真之间的折衷方法，并通过该理论分析表明模型剪枝是好的压缩算法的一部分，最后，提出了一种基于信息理论的剪枝策略并在 CIFAR-10 和 ImageNet 数据集上显示出其优越性。

Feb, 2021

本文主要利用可解释的人工智能方法，如 DeepLIFT 方法，对 DNNs 进行压缩，包括对 CNN 过滤器和全连接层权重进行的结构化和非结构化剪枝，以及使用聚类算法进行的 DNN 权重的非均匀量化和基于整数的混合精度量化。在图像分类数据集上进行的实验证明了这些方法的有效性和具有价值的应用前景。

Aug, 2020

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024

本文评估了三种在深度神经网络中引入稀疏性的技术，并对两个大规模的学习任务进行了严格评估，结果表明，简单的幅度剪枝方法可以获得相当或更好的性能，而不能从头开始训练稀疏结构，并强调了建立大规模基准测试的必要性。

Feb, 2019