May, 2023

DynamicKD: 基于动态熵校正的知识蒸馏实现间隙优化

PDF
TL;DR本文提出了一种基于动态熵校正的知识蒸馏算法，旨在通过调整学生网络而非教师网络来减少它们之间的性能差异。该算法在 CIFAR100 和 ImageNet 数据集上获得了令人印象深刻的结果，特别是在 teacher-resnet32x4 - student-resnet8x4 模型上，该算法在分类准确率上超过了传统算法和当前业内领先的算法 CRD。
发现论文，激发创造
  • 动态校正知识蒸馏

    提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额外训练成本的情况下较其他知识蒸馏方法显著提高 Tiny ImageNet 测试准确性 2.65％。

    Jan, 2022

  • 预训练语言模型的动态知识蒸馏

    本文研究知识蒸馏的动态方法是否能根据学生模型的能力，对三个方面进行调整，包括教师模型的采用，数据选择和蒸馏目标的调整，实验结果表明，动态知识蒸馏是有前途的，并提供了关于更有效 KD 方法的未来方向的讨论。

    Sep, 2021

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 黑暗面的知识：基于熵重新加权的知识蒸馏，以实现平衡的知识传递

    利用熵重新加权的知识蒸馏 (ER-KD) 方法通过重新调整学生模型的关注点，减少对简单情况的侧重，从而实现在知识传递过程中更加平衡的效果。

    Nov, 2023

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023

  • 退火知识蒸馏

    本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

    Apr, 2021

  • 知识浓缩蒸馏

    本文提出基于动态学习的知识凝聚蒸馏方法 (KCD)，通过期望最大化 (EM) 框架从教师的知识向学生转移紧凑的知识集，以有效增强学生模型的性能和蒸馏效率。

    Jul, 2022

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 优秀教师，优秀学生：基于动态先验知识的知识蒸馏

    研究表明，利用动态先验知识的知识蒸馏方法可以更好地从大型模型向小型模型传递知识表示，提高学生模型的性能，在图像分类和目标检测等领域表现卓越。

    Jun, 2022