Apr, 2019

M2KD: 多模型、多层次知识蒸馏用于增量学习

PDF
TL;DR本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。
incremental learningknowledge distillationmulti-model strategyauxiliary distillationmask based pruning
发现论文，激发创造
  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 语义分割中的增量学习知识蒸馏

    本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

    Nov, 2019

  • 理解和改善知识蒸馏

    本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

    Feb, 2020

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • m2mKD：Modular Transformers 的模块到模块知识蒸馏

    我们提出了一种模块到模块的知识迁移方法（m2mKD），通过将具有共享元模型的教师模块和学生模块相结合，鼓励学生模块模仿教师模块的行为。在两种不同的模块化神经架构：神经注意电路（NACs）和视觉专家混合（V-MoE）上应用 m2mKD，我们获得了显着改进的分类准确率和鲁棒性。实验结果表明，我们的方法为将模块化网络与预训练的整体模型相连接提供了一种有希望的解决方案。

    Feb, 2024

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 教育馏析：让学生模型在学校中学习

    本文将动态增量学习引入到知识蒸馏中，提出了一种教育蒸馏的蒸馏策略，通过将学生模型从完整的学生模型分割为低级模型，结合设计的教学参考层，逐渐提升学生模型的年级，并从更多的教师模型中进行学习和蒸馏，使得学生模型的性能逐渐从低级到高级逐阶段提高。教育蒸馏策略结合蒸馏算法在公共数据集 CIFAR100、Caltech256 和 Food-101 数据集上比单一蒸馏算法取得了更优的结果。

    Nov, 2023