Jun, 2023

针对自回归序列模型的广义知识蒸馏

PDF
TL;DR本论文提出了一种推广的知识蒸馏方法，旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时表现优异。
发现论文，激发创造
  • 自回归语言模型的知识蒸馏再探讨

    通过分析发现大型语言模型在教学学生模型时会导致性能下降，设计了一种自适应教学方法（ATKD）来改进知识蒸馏，并通过大量实验验证其在各种模型类型和规模上均能显著提高性能（平均得分增加至多 + 3.04%）。更重要的是，ATKD 能有效改善学生模型的泛化能力。

    Feb, 2024

  • DistiLLM：面向大型语言模型的精简蒸馏

    DistiLLM 是一种更有效和高效的知识蒸馏框架，适用于自回归语言模型，通过引入倾斜的 Kullback-Leibler 散度损失和自适应的离策略方法，构建高性能的学生模型，并相较于最近的知识蒸馏方法获得最高 4.3 倍的加速比。

    Feb, 2024

  • GKD: 一种大规模预训练语言模型的通用知识蒸馏框架

    提出 GKD 框架，支持在内存受限的 GPU 上使用各种蒸馏方法，以支持至少 100B 规模的 PLMs 的蒸馏，可在单个框架内轻松切换和组合不同的蒸馏方法。

    Jun, 2023

  • 预训练语言模型的梯度知识蒸馏

    本文提出了一种新的知识蒸馏方法（GKD），通过引入梯度对齐这一重要的知识源，以提高预训练语言模型的学生模型的性能和可解释性。实验结果表明，使用 GKD 比先前的知识蒸馏方法效果更好。

    Nov, 2022

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 大型语言模型的知识蒸馏

    本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

    Jun, 2023

  • GOLD: 通过基于超出分布引导的语言数据生成进行的泛化知识蒸馏

    基于语言模型的知识蒸馏是提高语言模型的有效部署的关键。本文提出了 GOLD，一种任务无关的数据生成和知识蒸馏框架，通过迭代的超出分布引导的反馈机制来改善生成数据的泛化能力。我们在 10 个不同的分类和序列到序列任务的自然语言处理方面的广泛实验中验证了 GOLD 的优越性和对 less explored 和 novel 任务的适用性。

    Mar, 2024

  • 通过生成伪回放实现稳健且资源高效的无数据知识蒸馏

    本文提出了一种基于 Variational Autoencoder 的合成数据生成方法，以替代存储和重复合成数据的方式，从而提高基于 Data-Free Knowledge Distillation 方法的神经网络压缩效果，实现机器学习模型精简。

    Jan, 2022

  • 通过知识蒸馏学习可推广的车辆路径问题模型

    本文提出了一种自适应多分布知识蒸馏（AMDKD）方案，通过利用来自多个已训练教师模型的知识来生成轻量级且更广义的学生模型，从而解决了现有神经方法在车辆路径问题上交叉分布泛化的问题，并展示了其优异的性能。

    Oct, 2022

  • AD-KD: 基于属性的知识蒸馏用于语言模型压缩

    本文提出了一种基于 Integrated Gradients 的新颖的归因驱动知识蒸馏方法，它探索了教师模型背后的 token-level 解释，并将知识转移给学生模型，进一步探索了多视角归因蒸馏。实验证明我们的方法在 GLUE 基准测试中具有比其他现有方法更好的性能。

    May, 2023