提出一种名为 MOMA 的框架，通过三种不同的知识转移机制在自我监督的方式下，将来自 MoCo 和 MAE 的知识合作起来，从而产生紧凑的学生模型，在计算效率方面具有极高的蒙面率和显著降低的训练代数，实验证明 MOMA 在计算机视觉方面的不同基准测试中都具有竞争力。

Feb, 2023

本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。

Oct, 2020

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

在数字病理学中，为了解决大型全幻灯片图像的计算限制问题，该研究提出了使用知识蒸馏和注意力图来提高模型性能，实验证明该方法在不同图像分辨率下显著改善了模型性能。

Jan, 2024

通过使用深度学习技术和数据集蒸馏方法，我们构建了一个小型合成数据集，其中包含最具信息量的人可读的合成图像，用于进行下游分类模型训练，并获得适用于实际应用的性能表现。

Jun, 2024

本文提出了一种新颖的知识蒸馏方法，通过多头注意力网络从大型教师网络中提取基于数据集的知识，并进行多任务学习，大大提高了小型学生网络的性能。

Jul, 2019

通过知识蒸馏、注意力监督和对称引导方法，实现从较大的教师模型向更小的学生模型进行知识转移，达到近似于最先进方法的竞争性结果。

Dec, 2023

该论文应用半监督的师生知识蒸馏技术，使用 0.5% 的标记数据达到了与 100% 标记数据相同的准确率，减轻了标注负担，提高了自动数字病理学系统的可承受性。

Mar, 2020

我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型。该方法在多个任务中有效，并实验结果表明在脑肿瘤分割和音视觉 - MNIST 分类方面，优于现有的模型。

May, 2024

提出了一种基于类别注意力传递的知识蒸馏（CAT-KD）方法，该方法不仅具有高解释性，还在多个基准测试中实现了最先进的性能，通过传输课程激活地图，从而提供了关于 CNN 的更好的理解，并改进了 CAT-KD 的解释性。

Apr, 2023