Jan, 2022

哪个学生最好？针对任务特定BERT模型的综合知识蒸馏考试

HTML
PDF
TL;DR本文研究使用知识蒸馏从BERT模型到各种学生模型（BiLSTM、CNN、BERT-Tiny、BERT-Mini和BERT-Small）对印尼语文本分类和序列标记进行实验研究，提出了效率高的知识蒸馏训练机制，并发现使用BiLSTM和CNN学生模型可以在性能和计算资源方面提供最好的平衡。
发现论文，激发创造
  • TinyBERT：自然语言理解的BERT蒸馏模型

    通过新的Transformer蒸馏方法和两阶段TinyBERT学习框架，可以有效地将大型BERT中的知识转移到小型TinyBERT，从而在维持准确性的同时加速推理和减少模型大小，TinyBERT在短语匹配任务的GLUE数据集上取得了96.8%以上的性能，模型大小约为BERT的1/8，推理速度约为BERT的1/10。

    Sep, 2019

  • DistilBERT：BERT的简化版——更小、更快、更便宜、更轻

    通过知识蒸馏的预训练阶段，可以将BERT模型的大小缩小40％，同时保持97％的语言理解能力并且速度提升60％，这种方法被称为DistilBERT，并可为边缘设备上的计算提供良好的性能

    Oct, 2019

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于LSTM的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 预训练模型摘要精馏

    使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

    Oct, 2020

  • 边际效用递减：探究BERT知识蒸馏的最少知识要求

    本文提出了一种高效的知识蒸馏方法，能够压缩BERT模型而无需加载教师模型，并能够实现训练加速2.7x ~ 3.4x。通过将BERT的隐藏知识分为深度、长度和宽度三个维度，该方法能够提取和蒸馏关键的隐藏状态知识，从而实现与大量蒸馏相同的性能提升。

    Jun, 2021

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种Knowledge Distillation的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个teacher networks预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务(NLU)的性能，同时在Plagiarism Detection方面也有了更好的表现。

    Jan, 2023

  • 基于伪目标训练的语言生成知识蒸馏系统研究

    研究自然语言生成（NLG）中的知识蒸馏技术优化模型并生成具体的文本任务，提出伪目标（PT）数据增强方法并应用于双方产生的多个PT的词级KD，从而有效地压缩模型。

    May, 2023

  • BERT模型的知识蒸馏改进：损失函数、映射方法和权重调整

    本研究使用了Transformer-based模型（如BERT、GPT和T5），并进行了知识蒸馏来进行模型压缩，特别关注TinyBERT学生模型。通过实验不同的损失函数、Transformer层映射方法和注意力和表示损失的权重调整，评估了提出的方法在GLUE基准测试的若干下游任务上的效果，旨在提高知识蒸馏技术的效率和准确性，为各种自然语言处理任务的开发提供更高效和准确的模型。

    Aug, 2023

  • MLKD-BERT：预训练语言模型的多层知识蒸馏

    我们提出了一种新颖的知识蒸馏方法MLKD-BERT，在教师-学生框架中蒸馏多层级知识。对GLUE基准和提取型问答任务的大量实验表明，我们的方法在BERT上胜过了最先进的知识蒸馏方法。此外，MLKD-BERT可以灵活设置学生注意力头数，能够显著减少推理时间并且性能损失很小。

    Jul, 2024

  • 高效的知识蒸馏：利用教师模型洞察力增强小型语言模型

    本研究解决了小型语言模型在实际应用中面临的性能提升问题。我们提出了一种简单有效的知识蒸馏方法，通过分析教师模型的重要令牌，帮助学生模型更好地学习，从而显著提高了小型模型的性能，尤其在含有标签的多项选择题数据集上，68%的情况下提取的令牌是答案的组成部分。

    Sep, 2024