该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

Jul, 2018

利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。

Nov, 2023

本文提出了一种协同压缩方案，将通道剪枝和张量分解结合起来，通过同时学习模型的稀疏性和低秩性来压缩 CNN 模型。该方法在各个数据集和骨干架构上展示了优越的性能提升，例如在 ImageNet 2012 上，我们通过删除 48.4％的参数从 ResNet-50 模型中达到 52.9％的 FLOPs 减少，仅有 0.56％的 Top-1 准确度降低。

May, 2021

本文介绍了一种基于预先训练网络的数据自由网络压缩方法，该方法采用分层压缩技术、量化和修剪技术，能够实现高精度、高效率的对神经网络进行压缩，还能与高效的数据生成方法相结合以更进一步提高压缩结果。

Nov, 2020

本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。

Oct, 2019

通过使用低秩分解在网络层上应用压缩，本研究旨在研究压缩神经网络以提高训练和推理速度。我们的研究证明，为了加速，压缩方法应该考虑底层硬件，并进行分析以选择要压缩的层。通过对 ResNet50 的压缩和在全图像数据集 ImageNet-ILSVRC2012 上的训练的案例研究，我们展示了我们的方法的优势。我们在两个不同的硬件系统 Nvidia V100 和 Huawei Ascend910 上进行了测试。通过针对硬件进行压缩，Ascend910 上的训练加速度为 5.36%，Ascend310 上的推理速度为 15.79%，与原始未压缩模型相比仅有 1% 的精度下降。

Sep, 2023

通过共同修剪卷积层和激活函数来提高卷积神经网络的效率，并实现所需的推理加速度，同时尽量减少性能损失。

Jun, 2024

通过实验和理论分析，本文表明在深度神经网络的分布式数据并行训练中，面向单个层的压缩比面向整个模型的压缩方式更好，但实验也显示，具体训练模型和压缩率都可能导致实际收敛率的变化。因此，本文建议深度学习框架应支持面向单个层和整个模型的压缩方式。

Nov, 2019

该论文分析了两种流行的网络压缩技术，在统一的框架下比较了滤波剪枝和低秩分解，同时提出了一种全局的压缩方法并在多个基准测试中表现优异。

Mar, 2020

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017