AAAIMar, 2021

TransTailor: 对预训练模型进行修剪以实现更好的迁移学习

PDF
TL;DR本文提出了一种名为 TransTailor 的针对预训练模型的剪枝方法，通过根据目标权重重要性修剪和微调预训练模型，生成一个适用于特定目标任务的最优子模型，以获得更好的迁移学习性能。实验结果表明，TransTailor 可以在使用更小的模型时，优于传统剪枝方法以及其他最先进的迁移学习方法，特别是在 Stanford Dogs 数据集上，TransTailor 的准确度提高了 2.7%。
发现论文，激发创造
  • 有限任务数据下的结构化剪枝迁移学习

    结合结构化修剪和迁移学习的框架可减小大型预训练模型，并改善修剪模型在基线上的泛化性能。

    Nov, 2023

  • NetTailor：调整架构，而非权重

    提出了一种基于迁移学习的网络微调方法 NetTailor，它使用预训练的 CNN 层作为通用模块，可以与小的任务特定层组合生成新的网络，通过软注意力机制和复杂度正则化约束，最小化分类错误的同时降低网络复杂度。该方法可以使得适应简单任务的网络结构比适应复杂任务的网络结构更小，并且不降低参数共享和分类精度。

    Jun, 2019

  • 通过蒙特卡罗方法定制预训练语言模型：你有合适的剪刀吗？

    本文提出了一种名为 MC-Tailor 的方法，通过在文本生成任务中将概率质量从过估计到低估计的区域进行截断和转移，缓解了在小数据集上进行预训练模型的微调可能导致的过估计和 / 或低估计问题，并在各种文本生成数据集上进行实验证明了其显著优于微调方法。

    Jul, 2020

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • 领域特定神经机器翻译的稀疏结构发现

    本文提出了一种通过渐进修剪实现的新颖的领域适应方法 Prune-Tune，用于小样本下的神经机器翻译领域，这种方法可以在不修改模型的情况下减轻过拟合和退化问题。

    Dec, 2020

  • 剪枝的调适：BERT 的案例研究

    本文提出了一种新的模型适应策略 —— 剪枝适应，将神经模型预先训练的连接进行修剪以优化目标任务的性能，在剩余的连接中保留原有权重；我们将剪枝适应表述为具有可区分损失的优化问题，并提出了一种有效的算法来修剪模型。结果表明，在与微调完整模型相比产生类似性能的情况下，我们的方法可以剪枝 BERT 高达 50％的权重。

    May, 2021

  • TextPruner: 预训练语言模型的模型剪切工具包

    本文介绍了 TextPruner，这是一个开源模型剪枝工具包，旨在为预训练语言模型提供快速和简便的模型压缩方法，包括词汇和转换器剪枝等结构化的后训练剪枝方法，并提出了一种自监督剪枝方法，可以节约模型尺寸，而无需重新训练模型。其应用能够用于各种模型和任务，并在多项 NLP 任务中展现出压缩模型大小的能力。

    Mar, 2022

  • 走向计算优化的迁移学习

    本研究提出了一种简单而有效的方法，即使用预训练模型进行零 - shot 结构化剪枝，从而在尽量减少计算量的情况下实现性能的提升，实验证明，在低计算量条件下对预训练模型进行卷积过滤的剪枝可以带来超过 20% 的性能提升。

    Apr, 2023

  • 稀疏渐进蒸馏：在预训练和微调范式下解决过拟合问题

    本研究针对 pretrain-and-finetune 模式下的 transformer-based 语言模型，提出了一个新的剪枝策略，即基于误差边界的渐进式知识蒸馏，试图通过减少过拟合的风险来提高模型剪枝的效率，结果表明我们的方法在 GLUE 测试集中表现优于竞争对手。

    Oct, 2021

  • 稀疏 Imagenet 模型的迁移效果如何？

    本文深入研究了在 ImageNet 数据集上，基于无结构剪枝的卷积神经网络模型的迁移学习，表明稀疏模型在高度稀疏的情况下可以匹敌甚至超越密集模型的迁移性能，并且可以带来显著的推理甚至训练加速。同时观察并分析了不同剪枝方法之间的行为差异。

    Nov, 2021