CVPRJul, 2021

重访知识蒸馏：一个继承和探索框架

PDF
TL;DR本文提出了一种新颖的知识蒸馏策略 -- 继承与探索知识蒸馏框架 (IE-KD)，它将学生模型分成两个部分，继承和探索。继承部分通过相似度损失将已有的知识从教师模型转移到学生模型，而探索部分通过不相似度损失鼓励学生模型学习与继承部分不同的特征表示，实验结果表明，IE-KD 能够提高学生网络的表现，达到 SOTA 水平。
knowledge distillationinheritance and explorationdeep neural networksstudent modelsota performance
发现论文，激发创造
  • 比较性知识蒸馏

    在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

    Nov, 2023

  • 提升知识蒸馏与教师解释

    我们提出了一种名为知识解释蒸馏（KED）的框架，通过引入超特征解释教师，允许学生不仅从教师的预测中学习，还从教师的解释中学习，以及使用卷积神经网络降低复杂性、隐藏表示蒸馏方法扩充和使用嵌套数据集来处理有限的训练数据，实验证明，KED 学生可以显著优于类似复杂度的 KD 学生。

    Oct, 2023

  • 知识浓缩蒸馏

    本文提出基于动态学习的知识凝聚蒸馏方法 (KCD)，通过期望最大化 (EM) 框架从教师的知识向学生转移紧凑的知识集，以有效增强学生模型的性能和蒸馏效率。

    Jul, 2022

  • 信息流建模的异质知识蒸馏

    本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够 “解释” 教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。

    May, 2020

  • 知识蒸馏对迁移学习的影响

    在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

    Oct, 2022

  • 优秀教师解释：解释增强的知识蒸馏

    通过优化经典 KD 损失和教师与学生生成的解释的相似度，提出的解释增强型 KD（e^2KD）能够显著提高准确性和学生 - 教师一致性，并确保学生从教师那里得到正确的原因和相似的解释，同时能适应不同模型架构、训练数据量，甚至使用预计算的 “近似” 解释。

    Feb, 2024

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • 理解和改善知识蒸馏

    本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

    Feb, 2020

  • 知识扩散用于蒸馏

    本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

    May, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020