Nov, 2023

黑暗面的知识：基于熵重新加权的知识蒸馏，以实现平衡的知识传递

PDF
TL;DR利用熵重新加权的知识蒸馏 (ER-KD) 方法通过重新调整学生模型的关注点，减少对简单情况的侧重，从而实现在知识传递过程中更加平衡的效果。
knowledge distillationteacher modelstudent modeldark knowledgeentropy-reweighted knowledge distillation
发现论文，激发创造
  • 知识浓缩蒸馏

    本文提出基于动态学习的知识凝聚蒸馏方法 (KCD)，通过期望最大化 (EM) 框架从教师的知识向学生转移紧凑的知识集，以有效增强学生模型的性能和蒸馏效率。

    Jul, 2022

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • DynamicKD: 基于动态熵校正的知识蒸馏实现间隙优化

    本文提出了一种基于动态熵校正的知识蒸馏算法，旨在通过调整学生网络而非教师网络来减少它们之间的性能差异。该算法在 CIFAR100 和 ImageNet 数据集上获得了令人印象深刻的结果，特别是在 teacher-resnet32x4 - student-resnet8x4 模型上，该算法在分类准确率上超过了传统算法和当前业内领先的算法 CRD。

    May, 2023

  • 无偏知识蒸馏推荐

    本文提出了一种新的知识蒸馏方法，即分层蒸馏策略，用于解决推荐系统中已有的知识蒸馏方法中存在的推荐偏差问题。该方法通过对热门物品进行分层处理，提取每个组中的排名知识，用于监督学生模型的学习，避免了推荐结果的不准确和不公平。

    Nov, 2022

  • 动态校正知识蒸馏

    提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额外训练成本的情况下较其他知识蒸馏方法显著提高 Tiny ImageNet 测试准确性 2.65％。

    Jan, 2022

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 轻量级自我知识蒸馏与多源信息融合

    提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

    May, 2023

  • Wasserstein 对比表示蒸馏

    本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

    Dec, 2020

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 高效参数和适合学生的知识蒸馏

    本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，同时获得有竞争力的结果。

    May, 2022