ACLJun, 2021

边际效用递减：探究 BERT 知识蒸馏的最少知识要求

PDF
TL;DR本文提出了一种高效的知识蒸馏方法，能够压缩 BERT 模型而无需加载教师模型，并能够实现训练加速 2.7x ~ 3.4x。通过将 BERT 的隐藏知识分为深度、长度和宽度三个维度，该方法能够提取和蒸馏关键的隐藏状态知识，从而实现与大量蒸馏相同的性能提升。
knowledge distillationberthidden knowledgecompressiontraining speedup
发现论文，激发创造
  • BERT 模型压缩的患者知识蒸馏

    本研究提出了病人知识蒸馏方法，将原始大模型（老师）压缩成同样有效的轻型浅层网络（学生），以缓解大规模模型训练中的计算资源需求，并在多个 NLP 任务中获得改进的结果和培养效率的显著提高。

    Aug, 2019

  • 理解和改善知识蒸馏

    本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

    Feb, 2020

  • MLKD-BERT：预训练语言模型的多层知识蒸馏

    我们提出了一种新颖的知识蒸馏方法 MLKD-BERT，在教师 - 学生框架中蒸馏多层级知识。对 GLUE 基准和提取型问答任务的大量实验表明，我们的方法在 BERT 上胜过了最先进的知识蒸馏方法。此外，MLKD-BERT 可以灵活设置学生注意力头数，能够显著减少推理时间并且性能损失很小。

    Jul, 2024

  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 神经机器翻译知识蒸馏理解与改进探究

    本文研究神经机器翻译中知识蒸馏的技术，发现知识来源于教师的 top-1 预测，进一步提出一种名为 TIE-KD 的方法用于增强知识蒸馏，包含了层次排序损失和迭代蒸馏等措施，实验证明 TIE-KD 优于基准模型，具有更高的潜力和泛化性能。

    May, 2023

  • 哪个学生最好？针对任务特定 BERT 模型的综合知识蒸馏考试

    本文研究使用知识蒸馏从 BERT 模型到各种学生模型（BiLSTM、CNN、BERT-Tiny、BERT-Mini 和 BERT-Small）对印尼语文本分类和序列标记进行实验研究，提出了效率高的知识蒸馏训练机制，并发现使用 BiLSTM 和 CNN 学生模型可以在性能和计算资源方面提供最好的平衡。

    Jan, 2022

  • BERT 知识蒸馏：权重初始化和蒸馏目标对影响的实证研究

    本文评估了不同的中间层蒸馏方法在 BERT 模型的压缩上的效果，并发现使用注意力转移方法获得了最佳性能。同时，通过研究初始化学生模型时选择的优化层对任务特异性的蒸馏表现影响显著，尤其是在 QNLI 任务方面，初始学习率较低的教师模型层获得了显著的性能提升。我们为后续研究发布了我们的代码作为高效的基于 Transformer 的模型蒸馏框架。

    May, 2023

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • 减小词汇量的俄语语言模型知识蒸馏

    该研究论文介绍了知识蒸馏的不同方法，其中包括对词汇表的缩减，以助于通过两种简单而有效的对齐技术，对具有简化词汇表的学生进行知识蒸馏，并证明这些技术可以在保持一定质量的情况下实现 17 倍至 49 倍的压缩。

    May, 2022

  • TinyBERT：自然语言理解的 BERT 蒸馏模型

    通过新的 Transformer 蒸馏方法和两阶段 TinyBERT 学习框架，可以有效地将大型 BERT 中的知识转移到小型 TinyBERT，从而在维持准确性的同时加速推理和减少模型大小，TinyBERT 在短语匹配任务的 GLUE 数据集上取得了 96.8% 以上的性能，模型大小约为 BERT 的 1/8，推理速度约为 BERT 的 1/10。

    Sep, 2019