Diff 剪枝实现参数高效的迁移学习

ACLDec, 2020

Diff 剪枝实现参数高效的迁移学习

Parameter-Efficient Transfer Learning with Diff Pruning

Demi Guo, Alexander M. Rush, Yoon Kim

TL;DR提出一种在预训练 - 微调框架下进行参数有效转移学习的简单方法 - 差分裁剪（diff pruning），它将微调视为学习一种针对特定任务的 “diff vector”，该向量附加在预训练的参数向量之上。通过将不同 iable 逼近 L0-norm 惩罚来自适应地修剪 diff 向量以鼓励稀疏性，从而在学习时适应地进行修剪，从而在与完全微调的基准模型相比性能匹配，并且每项任务仅修改预训练模型参数的 0.5%。

Abstract

While task-specific finetuning of pretrained networks has led to significant empirical advances in nlp, the large size of networks makes finetuning difficult to deploy in multi-task, memory-constrained settings. We propose diff pruning as a simple approach to enable parameter-efficient

nlp transfer learning diff pruning multi-task learning parameter efficiency

发现论文，激发创造

参数高效的 Diff 剪枝用于偏差缓解

介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

May, 2022

扩散模型的结构剪枝

通过在预先训练的扩散模型上进行 Taylor 展开来识别重要的权重，我们提出了 Diff-Pruning 方法，该方法可以高效压缩 diffusion 模型，实现训练和推断过程中 50% 左右的 FLOPs 降低，同时保持与原模型相当的生成行为。

May, 2023

有限任务数据下的结构化剪枝迁移学习

结合结构化修剪和迁移学习的框架可减小大型预训练模型，并改善修剪模型在基线上的泛化性能。

Nov, 2023

PDP: 无需参数的可导修剪就是你所需的

提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

May, 2023

走向计算优化的迁移学习

本研究提出了一种简单而有效的方法，即使用预训练模型进行零 - shot 结构化剪枝，从而在尽量减少计算量的情况下实现性能的提升，实验证明，在低计算量条件下对预训练模型进行卷积过滤的剪枝可以带来超过 20% 的性能提升。

Apr, 2023

联合重新参数化的多层适应性用于高效和私密调整

本研究提出了一种新的语言转换微调策略，它在多个转换器层中引入了特定于任务的参数，这些参数是来自单一可训练向量的固定随机投影，使微调具有明显更少的参数，从而实现了 “低资源应用程序及带隐私约束条件训练” 条件下的有效性和性能。

May, 2023

可微运输剪枝

本文提出一种新的精确剪枝技术，利用有效的最优传输方案，使得算法自动调整探索 - 开发行为，从而在 3 个不同的数据集、5 个不同的模型、各种剪枝比例和两种稀疏度预算和剪枝颗粒度等方面均取得了先进的性能。

Jul, 2023

DHP: 通过超网实现可微元剪枝

本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

Mar, 2020

运动剪枝：通过微调实现自适应稀疏性

本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。

May, 2020

优化密集前馈神经网络

通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

Dec, 2023