EMNLPFeb, 2020

Theseus 的 BERT：通过渐进式模块替换压缩 BERT

PDF
TL;DR本文提出了一种使用渐进模块替换的新型模型压缩方法来有效压缩 BERT。通过在训练中逐步增加替换的概率，使得我们的方法在原始和紧凑模型之间带来了更深入的交互，同时不需要引入任何额外的损失函数，在 GLUE 基准测试中，我们的方法优于现有的知识蒸馏方法，展示了一种新的模型压缩视角。
bertmodel compressionprogressive module replacingknowledge distillationglue benchmark
发现论文，激发创造
  • 模块化 Transformer：将 Transformer 压缩为模块化层以进行灵活高效的推理

    本文提出了 Modular Transformers 框架，用于灵活的序列到序列模型压缩，通过模块化编码器 - 解码器并进行知识蒸馏，可以实现灵活的压缩比率从 1.1x 到 6x，并且在保持相对性能不变的情况下，可以根据需要灵活组装模块化层。

    Jun, 2023

  • LadaBERT：通过混合模型压缩实现 BERT 的轻量化适应

    本篇论文提出了一种混合模型压缩方法 LadaBERT，结合权重剪枝、矩阵分解和知识蒸馏等技术，可以在保持较高准确性的同时将训练开销减少一个数量级。LadaBERT 是一种适用于在线服务的轻量级 BERT 模型，可以更好地满足用户请求的低延迟需求。

    Apr, 2020

  • ROSITA: 集成技术优化的 BERT 模型压缩

    本文介绍三种压缩方法 (weight pruning、low-rank factorization 和 knowledge distillation)，并探索了有关模型架构、KD 策略、修剪频率和学习率计划等设计方案。实验结果表明，我们最佳的压缩模型，ROSITA，在保持 GLUE 基准的五个任务的 98.5% 性能的同时，比 BERT 小 7.5 倍，优于以前类似参数预算的 BERT 压缩方法。

    Mar, 2021

  • 基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

    本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

    Feb, 2020

  • BERT 模型的知识蒸馏改进：损失函数、映射方法和权重调整

    本研究使用了 Transformer-based 模型（如 BERT、GPT 和 T5），并进行了知识蒸馏来进行模型压缩，特别关注 TinyBERT 学生模型。通过实验不同的损失函数、Transformer 层映射方法和注意力和表示损失的权重调整，评估了提出的方法在 GLUE 基准测试的若干下游任务上的效果，旨在提高知识蒸馏技术的效率和准确性，为各种自然语言处理任务的开发提供更高效和准确的模型。

    Aug, 2023

  • 无需重新训练的基于 Transformer 的模型块压缩

    提出使用 BCT 框架对 transformer 进行分块压缩的方法，以降低其巨大的计算资源和内存开销，通过在多个 GLUE 数据集上评估得出，在大多数任务中，BCT 可以实现不到 0.90％的准确性下降。

    Apr, 2023

  • 探索预训练语言模型的极端参数压缩

    探索利用张量分解实现更大的压缩比率来压缩 BERT 模型的研究，取得了可接受的性能损失并显著提高了推理效率，最高压缩至原模型的 1/48，且在 GLUE 基准测试中取得了与原模型相当或略优的表现，该方法相对于蒸馏等现有的压缩方法独立有效。

    May, 2022

  • 基于变形金刚 (Block-wise) 的模型比特压缩

    该研究提出了一种名为 BBCT 的方法，用于对 Transformer-based models 进行块状位压缩，以减少其对计算的需求和内存的占用。经过在 BERT 上的测试，BBCT 可以在保持精度的前提下显著减少模型的计算和内存占用。

    Mar, 2023

  • 通过量化实现生成预训练语言模型的压缩

    本文介绍了一种基于量化的压缩生成式语言模型的方法，该方法使用了基于 token 的对比 distillation 技术学习可区分的单词嵌入，并提出了一个基于模块的动态缩放技术，适应不同模块的量化器，实验结果表明该方法在各种任务上性能优于基准方法，并且实现了 14.4x 和 13.4x 的压缩率，与全精度模型具有可比性。

    Mar, 2022

  • bert2BERT：面向可重用的预训练语言模型

    本文提出了 bert2BERT，通过参数初始化有效地将现有较小的预训练模型（如 BRET_BASE）的知识转移到大型模型（如 BERT_LARGE），并通过提出高级知识进一步改进大型模型的初始化以及两阶段预训练方法，以此显着提高大型模型的预训练效率，这个方法被证明要比从头开始训练，StackBERT 和 MSLT 并使用不同类型的预训练模型的基线方法显着节省训练成本，特别是 bert2BERT 通过重复使用几乎是其一半大小的模型，将 BERT_BASE 和 GPT_BASE 的预训练计算成本节省约 45% 和 47%。

    Oct, 2021