该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

Apr, 2023

在数据密集型模型的时代，精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题，并提出了一个公平感知的修剪方法，其在标准计算机视觉基准上展示了良好的性能，与现有算法形成鲜明对比。

Apr, 2024

通过直接解决剪枝带来的不一致影响，我们的研究提出了一种约束优化方法，通过在每个子组中限制密集模型和稀疏模型之间的准确度变化来确定剪枝模型是否达到可接受的不一致水平。实验证实了我们的技术在解决涉及大型模型和数百个受保护子组的问题上具有可靠的可扩展性。

Oct, 2023

在同等模型大小约束下，大而稀疏的模型普遍比小而密集的模型具有更高的准确性。因此，本文提出了一种模型修剪策略，首先以设计的随机方式生成多个修剪掩码，然后通过一个有效的掩码选择规则从候选掩码组中选择最优掩码。为了进一步提高效率，引入了一种早期掩码评估策略，减少了训练多个掩码的开销。在 GLUE 数据集的八个数据集上进行了广泛的实验证明，该方法在高稀疏水平下实现了最先进的性能。

Oct, 2023

介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

May, 2022

提出一种名为 FairPrune 的深度学习方法，在不降低模型精度的情况下，通过剪枝来降低敏感群体和非敏感群体之间的分类差距，从而实现公平的医学图像分类。

Mar, 2022

通过将神经网络的深度、宽度和分辨率三个维度综合考虑，将修剪问题视为一个最优化问题，并使用多项式回归的方法确定最优解，实现神经网络修剪，进而提出了两种方法来缩短训练回归所需的时间，并进行实验验证，表明我们提出的算法超越了最新的修剪算法和神经结构搜索算法。

Oct, 2020

我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

Aug, 2023

本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

Nov, 2018

提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

Jun, 2020