本研究提出了一种基于卷积神经网络的精调和压缩方法，旨在同时克服细调和修剪在参数空间上的问题，实验结果显示该方法在两个特殊图像领域有效。

Jul, 2017

通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

Dec, 2023

提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

Jun, 2020

本论文提出了一种用于深度神经网络的训练后权重修剪方法，其在生产环境中能够达到可接受的精度水平，并且足够快速以在桌面 CPU 或边缘设备等通用硬件上运行。该方法针对基于自动生成的合成分形图像的计算机视觉模型的无数据扩展，实现了数据免费的神经网络修剪，并在 ImageNet 数据集上获得了最新的数据免费神经网络修剪结果，对于 50％ 的稀疏率下使用 ResNet50 的 top@1 准确率丢失约为 1.5％。在使用真实数据时，能够获得在 8 位精度下稀疏率为 65％ 的 ResNet50 模型，而仅准确率下降约为 1％。

Apr, 2021

本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

Dec, 2019

本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

Jun, 2018

本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

Feb, 2019

本文提出了针对深度神经网络中的后门攻击的有效防御措施，证明了单独使用修剪或微调是不足以防御复杂攻击的，但结合使用微调 - 修剪可以成功削弱或消除后门攻击，仅略微降低网络对于普通 (非触发输入) 的准确率。该研究为深度神经网络中的后门攻击提供了防御措施的第一步。

May, 2018

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019

提出了一种名为 Unified Data-Free Compression（UDFC）的新框架，它能够在没有数据和微调过程的情况下同时进行修剪和量化，从而减少神经网络的推理时间和内存占用。在大规模图像分类任务上评估 UDFC，与各种网络架构和压缩方法相比，获得了显著的改进。

Aug, 2023