SKDBERT: 基于随机知识蒸馏的 BERT 压缩

AAAINov, 2022

SKDBERT: 基于随机知识蒸馏的 BERT 压缩

SKDBERT: Compressing BERT via Stochastic Knowledge Distillation

Zixiang Ding, Guoqing Jiang, Shuai Zhang, Lin Guo, Wei Lin

TL;DR本文提出了随机知识蒸馏（SKD）算法用于获得紧凑的 BERT 风格语言模型，同时在多个教师模型的帮助下提高了知识蒸馏的效力，实验结果表明 SKDBERT 在保持 99.5% 语言理解准确度的同时，压缩了 BERT_BASE 模型 40% 的大小且速度提升 100%。

Abstract

In this paper, we propose stochastic knowledge distillation (SKD) to obtain compact BERT-style language model dubbed skdbert. In each iter

stochastic knowledge distillation skdbert language model teacher ensemble glue benchmark

发现论文，激发创造

BERT 模型压缩的患者知识蒸馏

本研究提出了病人知识蒸馏方法，将原始大模型（老师）压缩成同样有效的轻型浅层网络（学生），以缓解大规模模型训练中的计算资源需求，并在多个 NLP 任务中获得改进的结果和培养效率的显著提高。

Aug, 2019

学生友好的知识蒸馏

本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 ImageNet 数据集上取得了最优性能。

May, 2023

KDLSQ-BERT: 一种结合知识蒸馏和学习步长量化的量化 BERT 模型

提出了一种基于 KDLSQ-BERT 的新型量化方法，将知识蒸馏与学习步长量化结合，可在保持精度的同时减小模型大小并提高推理性能，实现了 14.9 倍的压缩率，并且在各种比特（如 2 比特至 8 比特）的量化情况下表现出色。

Jan, 2021

SDBERT: SparseDistilBERT，一个更快、更小的 BERT 模型

本文介绍了一种新的 Transformer 架构 - SparseDistilBERT，使用了稀疏注意力机制和知识蒸馏技术 (KD)。将稀疏注意力机制与 KD 技术相结合可以降低模型的复杂度，本文实现的 SparseDistilBERT 在保留 97% 性能的前提下只使用了原 BERT 模型大小的 40% 且训练时间缩短了 40%。

Jul, 2022

将序列级知识蒸馏解释为神经机器翻译中的数据增强

使用序列级知识蒸馏技术在数据增强和正则化的前提下训练较小的机器翻译模型，可实现类似于基准 SLKD 的结果，并显著提高 BLEU 分数。

Dec, 2019

边际效用递减：探究 BERT 知识蒸馏的最少知识要求

本文提出了一种高效的知识蒸馏方法，能够压缩 BERT 模型而无需加载教师模型，并能够实现训练加速 2.7x ~ 3.4x。通过将 BERT 的隐藏知识分为深度、长度和宽度三个维度，该方法能够提取和蒸馏关键的隐藏状态知识，从而实现与大量蒸馏相同的性能提升。

Jun, 2021

AD-KD: 基于属性的知识蒸馏用于语言模型压缩

本文提出了一种基于 Integrated Gradients 的新颖的归因驱动知识蒸馏方法，它探索了教师模型背后的 token-level 解释，并将知识转移给学生模型，进一步探索了多视角归因蒸馏。实验证明我们的方法在 GLUE 基准测试中具有比其他现有方法更好的性能。

May, 2023

MKD：一种预训练语言模型的多任务知识蒸馏方法

本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

Nov, 2019

哪个学生最好？针对任务特定 BERT 模型的综合知识蒸馏考试

本文研究使用知识蒸馏从 BERT 模型到各种学生模型（BiLSTM、CNN、BERT-Tiny、BERT-Mini 和 BERT-Small）对印尼语文本分类和序列标记进行实验研究，提出了效率高的知识蒸馏训练机制，并发现使用 BiLSTM 和 CNN 学生模型可以在性能和计算资源方面提供最好的平衡。

Jan, 2022

TinyBERT：自然语言理解的 BERT 蒸馏模型

通过新的 Transformer 蒸馏方法和两阶段 TinyBERT 学习框架，可以有效地将大型 BERT 中的知识转移到小型 TinyBERT，从而在维持准确性的同时加速推理和减少模型大小，TinyBERT 在短语匹配任务的 GLUE 数据集上取得了 96.8% 以上的性能，模型大小约为 BERT 的 1/8，推理速度约为 BERT 的 1/10。

Sep, 2019