DMT：多个自监督教师进行的全面蒸馏
本文介绍了一种互动训练（Dynamic Mutual Training，DMT）的方法，可以通过两种不同模型之间的互动来确定伪标签的错误，从而提高半监督学习的性能。在图像分类和语义分割任务中，DMT 均取得了最新的表现。
Apr, 2020
本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。
Jun, 2020
提出一种名为 MOMA 的框架，通过三种不同的知识转移机制在自我监督的方式下，将来自 MoCo 和 MAE 的知识合作起来，从而产生紧凑的学生模型，在计算效率方面具有极高的蒙面率和显著降低的训练代数，实验证明 MOMA 在计算机视觉方面的不同基准测试中都具有竞争力。
Feb, 2023
本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。
Jul, 2022
本文提出基于两阶段模型的掩模视频蒸馏方法 (MVD)，并采用空间 - 时间共同教学方法进行电影变换器的预训练，实验证明该方法对于多个视频数据集优于现有方法。
Dec, 2022
本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。
Mar, 2023
本研究提出了一个自我监督特征表示学习框架 DreamTeacher，利用生成网络对下游图像骨干进行预训练。通过将经过训练的生成模型中的知识提取到已经针对特定感知任务进行精心设计的标准图像骨干，我们通过两种类型的知识蒸馏来探索在大型标签数据集（例如 ImageNet）上进行预训练的代替方法。在许多生成模型、密集预测基准和几种预训练方案上进行了大量分析，实证发现 DreamTeacher 在各方面均显著优于现有的自我监督表示学习方法，展示了生成模型和扩散生成模型作为大型和多样数据集上的表示学习的一种有前途的方法，而不需要手动注释。
Jul, 2023
为了在计算资源有限的环境下部署高级多模态技术，我们提出了一种从预训练多模态大模型中动态自适应多尺度蒸馏的方法，通过仅使用输出特征和原始图像级信息来优化模型，显著降低复杂性和训练成本，实现了跨模态检索任务的最先进性能。
Apr, 2024
提出一种新的半监督学习框架，称为 Dual Mean-Teacher（DMT），通过两个教师 - 学生结构绕过确认偏差问题，充分利用有标签和无标签数据，通过教师之间的一致性过滤噪声样本并生成高质量的伪标签，从而在 Audio-Visual Source Localization（AVSL）中取得了明显优于当前先进方法的性能。
Mar, 2024