MiniLM: 预训练 Transformer 的深度自注意力蒸馏的任务无关压缩

Feb, 2020

MiniLM: 预训练 Transformer 的深度自注意力蒸馏的任务无关压缩

MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers

Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang...

TL;DR本文通过对最后一层 Transformer 模型中的自我注意模块的蒸馏，提出了一种简单有效的压缩大型预训练模型的方法，同时引入了新的 “缩放点积” 深层自我注意知识，并在这个基础上设计了一个小留学生模型来减少参数量和延迟，实现了对 GLUE 质量基准测试的有效超越。

Abstract

pre-trained language models (e.g., BERT (Devlin et al., 2018) and its variants) have achieved remarkable success in varieties of nlp tasks. However, these models usually consist of hundreds of millions of paramet

pre-trained language models transformer networks self-attention distillation parameter compression nlp tasks

发现论文，激发创造

MiniLMv2：多头自注意力关系蒸馏压缩预训练 Transformer

本文介绍了一种基于自注意力关系蒸馏的预训练 transformers 的压缩方法，并通过实验证明该方法优于现有的最先进技术。

Dec, 2020

Recycle-and-Distill: 基于注意力映射重用和掩码蒸馏的 Transformer 语音 SSL 模型通用压缩策略

本研究提出基于 Transformer 的语音自监督学习模型压缩方法，包括重用注意力矩阵并采用新型蒸馏策略。我们的通用压缩策略可在 SUPERB 基准测试中实现 7.72％的音素错误率和 9.96％的单词错误率。

May, 2023

压缩转换器语言模型的任务无关蒸馏方法的比较分析

通过多项实验研究，我们发现基于 MiniLMv2 的 Multi-Head Attention 转移是蒸馏中更优选的方法，并解释了其成功的可能原因。此外，我们还发现基于 Hidden State 转移的方法在精妙的层映射策略下依然是竞争性的基准，而 Output Distribution 转移一直落后于其他方法。研究结果帮助我们为延迟关键应用部署高效且有效的学生模型。

Oct, 2023

用未标记的转移数据将 BERT 蒸馏为简单的神经网络

该研究论文针对知识蒸馏在自然语言处理中预训练模型所遇到的问题，探讨利用领域内未标记的数据、有限的已标记数据和基于简单 RNN 模型的硬蒸馏方法解决师生模型间性能差异的问题。实验结果表明，使用软蒸馏和利用教师模型的中间表示，学生模型的性能可以进一步提高，而在低资源环境下，学生模型在保证与教师模型性能基本持平的情况下，可实现最多 26 倍的压缩比，针对多语言环境的扩展实验结果更是惊人。

Oct, 2019

高效 Transformer 知识蒸馏：绩效评估

对高效注意力转换模型进行知识蒸馏的模型压缩评估，并通过新的长上下文命名实体识别数据集 GONERD 验证了高效注意力转换模型在保持原始模型性能的同时降低推理时间的效果。

Nov, 2023

预训练模型摘要精馏

使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

Oct, 2020

Transformer 进一步预训练的自蒸馏方法

本文提出了自蒸馏（self-distillation）作为进一步预训练阶段的正则化方法来解决 Vision Transformer 模型在目标未标记数据上预训练的过拟合问题，最终在图像分类和文本分类任务中优于相关基线。

Sep, 2022

对齐蒸馏：神经机器翻译中用于知识蒸馏的可训练注意力对齐

通过学生模型与教师模型的自适应对齐，'Align-to-Distill'（A2D）策略在 Transformer 架构的知识蒸馏中解决了特征映射问题，实验证明 A2D 相较于 Transformer 基准模型，在 WMT-2022 的 De->Dsb 和 WMT-2014 的 En->De 翻译任务中分别获得了 + 3.61 和 + 0.63 BLEU 得分的提升。

Mar, 2024

一个老师足矣？多个教师的预训练语言模型蒸馏

本文提出了一种多教师知识蒸馏框架 MT-BERT，可以从多个教师 PLMs 中训练高质量的学生模型，并在三个基准数据集上验证了其压缩 PLMs 的有效性。

Jun, 2021

语言建模的张量变换器

本文提出了基于张量分解和参数共享的多线性注意力模型（即 Multi-linear attention）与块状张量分解（Block-Term Tensor Decomposition，BTD）相结合的自注意力模型，该方法在语言建模和神经机器翻译任务中获得了性能改进。与多个语言建模方法（如 Transformer，Transformer-XL 和使用张量训练分解的 Transformer）相比，Multi-linear attention 不仅可以大大压缩模型参数，还可以获得性能提升。

Jun, 2019