Sep, 2021

RAIL-KD：随机中间层映射用于知识蒸馏

PDF
TL;DR通过随机选择教师模型中的中间层进行蒸馏，提出了一种新的中间层知识蒸馏方法 RAIL-KD，它可以改善传统的知识蒸馏方法，并提高学生模型的泛化能力，同时具有更低的计算成本。在 GLUE 任务和域外测试集上，RAIL-KD 方法表现优于其他同类方法。
knowledge distillationintermediate layerspre-trained language modelsrail-kdgeneralizability
发现论文，激发创造
  • 中间层蒸馏在压缩语言模型中的再次探讨：过拟合的角度

    本文介绍了一种名为一致性正则化的中间层知识蒸馏方法，有效解决了其他中间层知识蒸馏方法容易过拟合的问题，并在模型蒸馏方面表现高效。

    Feb, 2023

  • 预训练语言模型的梯度知识蒸馏

    本文提出了一种新的知识蒸馏方法（GKD），通过引入梯度对齐这一重要的知识源，以提高预训练语言模型的学生模型的性能和可解释性。实验结果表明，使用 GKD 比先前的知识蒸馏方法效果更好。

    Nov, 2022

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • CILDA: 使用中间层知识蒸馏的对比数据增强

    本文提出了一种基于对比学习的知识蒸馏数据增广技术 CILDA，该技术以中间层特征匹配为基础，使用对比损失来提高蒸馏样本的质量，并在 GLUE 基准测试以及域外评估中全面超越了现有的最先进的知识蒸馏方法。

    Apr, 2022

  • RdimKD: 通过降维进行通用蒸馏范式

    这篇研究提出了一种新的知识蒸馏范式，称为维度降低知识蒸馏（RdimKD），通过使用一个投影矩阵将大网络和小网络的特征图投影到低维子空间，并在训练过程中进行优化，既保证学生从老师获取有价值信息，又灵活适应学生的低容量实际情况。实证研究表明 RdimKD 在各种学习任务和不同网络架构中具有有效性。

    Dec, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 通过知识蒸馏学习可推广的车辆路径问题模型

    本文提出了一种自适应多分布知识蒸馏（AMDKD）方案，通过利用来自多个已训练教师模型的知识来生成轻量级且更广义的学生模型，从而解决了现有神经方法在车辆路径问题上交叉分布泛化的问题，并展示了其优异的性能。

    Oct, 2022

  • 理解和改善知识蒸馏

    本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

    Feb, 2020