Jun, 2024

多阶段均衡蒸馏：解决序列级知识蒸馏中的长尾挑战

PDF
TL;DR大语言模型（LLMs）在各种自然语言处理任务中有了显著的进展，但部署仍然需要大量的计算资源。我们介绍了一种名为 Multi-Stage Balanced Distillation（BalDistill）的框架，通过在固定的计算资源预算内动态选择代表性的正样本和合成尾部样本，平衡训练数据，并在各种长尾数据集上取得了最先进的性能，提高了蒸馏模型的效率和效果。
large language modelsknowledge distillationsequence-level kdlong-tailed data distributionsmulti-stage balanced distillation
发现论文，激发创造
  • 长尾学习中的平衡知识蒸馏

    提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

    Apr, 2021

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 大型语言模型的知识蒸馏

    本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

    Jun, 2023

  • 终身语言知识蒸馏

    提出了一种名为 Lifelong Language Knowledge Distillation（L2KD）的方法来解决流式任务（stream of different tasks） LLL 中的性能降低问题，通过一个教师模型来将新任务的知识通过知识蒸馏的方式传递给现有的 LLL 模型，从而使得 LLL 模型可以更好地适应新任务，同时保留先前学习到的知识。该方法的实验证明，L2KD 在 LLL 任务的顺序生成和文本分类方面比之前的最先进模型有着不俗的表现，并且在与 multi-task 模型性能对比方面，L2KD 均获得了显著提升。

    Oct, 2020

  • DistiLLM：面向大型语言模型的精简蒸馏

    DistiLLM 是一种更有效和高效的知识蒸馏框架，适用于自回归语言模型，通过引入倾斜的 Kullback-Leibler 散度损失和自适应的离策略方法，构建高性能的学生模型，并相较于最近的知识蒸馏方法获得最高 4.3 倍的加速比。

    Feb, 2024

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • 大型语言模型的多阶段协作知识蒸馏

    我们提出了一种多阶段协同知识蒸馏方法，用于稀缺标记数据的半监督序列预测任务，通过从提示的大型语言模型中蒸馏出的学生模型，在特定任务上能够更好地泛化，且在两个句法分析任务上表现出了优势。

    Nov, 2023

  • 多语言序列标注的结构级知识蒸馏

    该研究提出使用知识蒸馏减少多语言模型与单语言模型之间性能差距，实验结果显示我们的方法优于多个基准模型并具有更强的零次通用性。

    Apr, 2020

  • 序列级知识蒸馏的 f - 分歧最小化

    我们提出了一个名为 f-DISTILL 的框架，将序列级别的知识蒸馏作为最小化广义 f - 分歧函数的过程，并显示现有的 SeqKD 和 ENGINE 方法是我们 f-DISTILL 方法的近似。通过在四个数据集上的实验，我们发现我们的方法优于现有的蒸馏方法，并且我们的对称蒸馏损失可以更好地促使学生从教师分布中学习。

    Jul, 2023