Apr, 2023

教师网络校准改善跨质量知识蒸馏

PDF
TL;DR本文研究交叉质量知识蒸馏（CQKD），该方法将使用全分辨率图像进行训练的教师网络的知识转移到以低分辨率图像作为输入的学生网络中。CQKD 在大规模图像分类问题上的表现优于监督学习，并强调了神经网络校准的重要性：我们表明，通过更高的温度平滑教师输出分布，学生分布会表现出更高的熵，从而导致更低的校准误差和更高的网络准确性。
发现论文，激发创造
  • 从未调校的教师中抽取定性的学生

    本文提出一种方法，在通过知识蒸馏传递信息来从教师网络中提高浅层学生网络性能的同时，生成一个校准的学生模型，该方法依赖于数据增强技术的融合并扩展了传统知识蒸馏，因此可用于关系知识蒸馏和对比表示蒸馏，并在 CIFAR-10，CIFAR-100，CINIC-10 和 TinyImageNet 等各种数据集上进行了验证。

    Feb, 2023

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 忠实知识蒸馏

    本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。

    Jun, 2023

  • QKD：量化知识蒸馏

    本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

    Nov, 2019

  • QUEST: 量化嵌入空间用于知识转移

    本文提出一种通过量化空间来传输知识、学习教师网络中的主视觉概念的知识蒸馏方法，通过对多种网络结构和常用基准数据集的广泛评估，证明了该方法优于现有的知识蒸馏方法。

    Dec, 2019

  • 响应性网络压缩中蒸馏质量的控制

    本文探讨了如何提高知识压缩的效果，发现教师神经网络的反应质量和相似性信息密切相关，而采用适当的批量和历元数训练教师可以提高知识压缩的效果。

    Dec, 2021

  • 语义校准的跨层蒸馏

    本文提出了 Semantic Calibration for cross-layer Knowledge Distillation (SemCKD) 方法，使用 Attention 机制自动分配适当的目标层，对学生模型进行知识蒸馏，以提高泛化能力。

    Dec, 2020

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 教辅辅助下的知识蒸馏改进

    本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

    Feb, 2019

  • 置信度感知的多教师知识蒸馏

    该研究提出了一种自适应分配逐样本可靠度的方法，以每个教师的预测可信度来稳定知识转移过程，并结合中间层来提高学生成绩，在不同的教师 - 学生架构下，优于所有其他现有方法。

    Dec, 2021