提出一种在预训练 - 微调框架下进行参数有效转移学习的简单方法 - 差分裁剪（diff pruning），它将微调视为学习一种针对特定任务的 “diff vector”，该向量附加在预训练的参数向量之上。通过将不同 iable 逼近 L0-norm 惩罚来自适应地修剪 diff 向量以鼓励稀疏性，从而在学习时适应地进行修剪，从而在与完全微调的基准模型相比性能匹配，并且每项任务仅修改预训练模型参数的 0.5%。

Dec, 2020

通过直接解决剪枝带来的不一致影响，我们的研究提出了一种约束优化方法，通过在每个子组中限制密集模型和稀疏模型之间的准确度变化来确定剪枝模型是否达到可接受的不一致水平。实验证实了我们的技术在解决涉及大型模型和数百个受保护子组的问题上具有可靠的可扩展性。

Oct, 2023

介绍一种新的语言模型去偏置化的方法，使用剪枝口罩来确定模型去偏置化行为，不需要重新训练模型，可以高效地存储口罩并在推断时切换到多种去偏置行为。

Oct, 2022

通过在预先训练的扩散模型上进行 Taylor 展开来识别重要的权重，我们提出了 Diff-Pruning 方法，该方法可以高效压缩 diffusion 模型，实现训练和推断过程中 50% 左右的 FLOPs 降低，同时保持与原模型相当的生成行为。

May, 2023

该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

Apr, 2023

通过结合迁移学习、扰动模型和集成学习技术，我们提出了一种新颖和灵活的文本分类对抗防御方法 DiffuseDef，它在编码器和分类器之间引入扩散层作为去噪器，经过迭代去噪和集成生成鲁棒的文本表示。实验证明，DiffuseDef 在各种对抗性攻击中表现优异，实现了最先进的性能。

Jun, 2024

通过剪枝实现减少模型存储和计算操作，防止 Deep Learning 或 Deep Neural Networks (DNNs) 的隐私泄露，提高 DNNs 的抗干扰性和准确性

Aug, 2020

本文提出了两种简单而有效的度量方法，CEV 和 SDE，以量化剪枝模型的偏差防御质量，并展示了知识蒸馏可以调和剪枝神经网络中的偏差。我们发现模型相似度与剪枝诱导的偏差之间存在强关联，这提供了一种强大的方法来解释为什么在剪枝神经网络中会发生偏差。

Jun, 2021

该研究通过运用自蒸馏和信息瓶颈方案，提出新的神经网络剪枝框架，使其可以在保持鲁棒性的情况下压缩其大小并提高训练效率。

Oct, 2022

我们提出了一种简单而有效的无需训练的方法，ConceptPrune，通过首先确定在预训练模型中负责生成不良概念的关键区域，从而以权重修剪的方式便捷地实现概念去学习。实验证明，我们的方法能够高效擦除多个目标概念，仅修剪总权重的约 0.12%，并对多种白盒和黑盒对抗攻击具有鲁棒性。

May, 2024