本文提出了针对视频分类的基于子阶段学习的知识蒸馏框架，采用渐进级联训练方法和伪标签优化策略来提高效率和准确性，并在多个真实和模拟数据集上进行了广泛的实验表明其优于现有的知识蒸馏方法。

Jul, 2023

本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

Jul, 2021

本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

Apr, 2021

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

May, 2024

本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

Aug, 2020

本文提出了一种另类的方法，通过使用预训练的图像模型作为 “老师” 来训练视频模型，从而实现对视频表示的无监督学习。相比于现有的技术，该方法在 input modalities 的不同数据源下具有更强的迁移性能，并在彻底未被筛选的原始视频数据来源下进行训练。

Jan, 2019

本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

Feb, 2021

该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Jun, 2020

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024