ACLApr, 2022

结构化剪枝学习紧凑而精确的模型

PDF
TL;DR提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。
neural language modelsmodel compressionpruningdistillationcofi
发现论文，激发创造
  • 快速 Transformer 的块剪枝

    本文提出了一种针对小型、快速模型的块删剪方法，可同时考虑任何大小的块并将其结构整合到微调的移动删剪范例中。这种方法可以学习删剪出底层模型的完整组件，包括注意头，比如，实验结果在速度和大小上与精简模型相比相当有竞争力，SQuAD v1 上的 2.4 倍速度、74％ 更小的 BERT，F1 减少 1%。

    Sep, 2021

  • 基于 BERT 的问答模型的结构化剪枝

    本文针对自然语言处理中使用的 BERT 和 RoBERTa 模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

    Oct, 2019

  • 无梯度结构剪枝与未标记数据

    本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。

    Mar, 2023

  • 蒸馏剪枝：一种用于边缘设备上实时立体匹配网络的高效压缩框架

    通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。

    May, 2024

  • 使用内部蒸馏的背包修剪

    本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。

    Feb, 2020

  • 大规模语言模型的高效剪枝与自适应推理融合

    用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

    Mar, 2024

  • 面向任务的语音表示模型的结构化剪枝

    本文提出了一种精细的注意力头修剪方法来解决自监督预训练模型中的模型压缩问题，并介绍了直通估计量到 L0 正则化中以进一步加速修剪模型，超越 Wav2vec2.0 基准模型的表现，且具有 72% 更少的参数和两倍的推理速度。

    Jun, 2023

  • LaCo：大型语言模型通过层坍缩进行修剪

    提出了一种被称为 extit {Layer Collapse (LaCo)} 的简洁的逐层修剪方法，将后置模型层折叠到先前层，实现了模型大小的快速减小而同时保留了模型结构；全面的实验表明，该方法在修剪比例为 25-30% 时保持了超过 80% 的平均任务性能，显著优于现有最先进的结构修剪方法；还进行了后训练实验证实所提出的修剪方法有效继承了原始模型的参数，并从逐层相似性的角度讨论了提出该方法的动机，评估了修剪的大型语言模型在各种修剪比例下的性能。

    Feb, 2024

  • 自监督预训练模型结构化剪枝的语音识别与理解

    该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。

    Feb, 2023

  • ECoFLaP: 高效细粒度层次裁剪用于视觉 - 语言模型

    通过 Efficient Coarse-to-Fine Layer-Wise Pruning 方法，LVLMs 的大规模视觉 - 语言模型能够以两阶段粗细权重修剪的方式进行模型压缩，从而在高稀疏度条件下取得显著性能改进。

    Oct, 2023