CVPRMar, 2021

通过自我知识蒸馏提高自我：特征细化

PDF
TL;DR本文提出了一种名为 FRSKD 的自我知识蒸馏方法，利用辅助自主教师网络传输分类器网络的精细化知识。该方法可应用于分类和语义分割等多样化任务，并证明其在各种任务和基准数据集中的性能提升
knowledge distillationself-knowledge distillationfeature refinementsemantic segmentationauxiliary self-teacher network
发现论文，激发创造
  • 轻量级自我知识蒸馏与多源信息融合

    提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

    May, 2023

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 层次自监督增强知识蒸馏

    本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

    Jul, 2021

  • 一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

    本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

    Sep, 2022

  • MixSKD: 图像识别中的 Mixup 自我知识蒸馏

    本文提出了将 Self-KD 应用于图像混合 (MixSKD) 的方法，该方法能够将原始图像和混合图像之间的特征映射和概率分布相互蒸馏，以便以跨图像的知识指导网络的学习，实验表明该方法优于其他最先进的 Self-KD 和数据增强方法。

    Aug, 2022

  • 自我知识蒸馏与渐进式目标细化

    该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

    Jun, 2020

  • 动态校正知识蒸馏

    提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额外训练成本的情况下较其他知识蒸馏方法显著提高 Tiny ImageNet 测试准确性 2.65％。

    Jan, 2022

  • 自我知识蒸馏用于外科手术阶段识别

    本文通过引入自我知识蒸馏框架来改善手术阶段识别模型，实验结果表明，基于这一框架的模型在 4 种流行的 state-of-the-art 方法上的准确度和 F1-score 分别提高了 3.33％和 3.95％，并且即使使用 75％的训练集，其性能仍与完整训练集上基线模型的性能相当。

    Jun, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024