Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

Apr, 2021

该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

Jun, 2020

本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

Jun, 2023

本文提出了一种多模在线知识蒸馏方法来提高自监督视觉表征学习，通过自蒸馏和交叉蒸馏两种蒸馏模式，实现了不同模型之间的知识交互，并通过跨注意力特征搜索策略增强了不同模型之间的语义特征对齐，实现了两个异构模型相互吸收知识以提高其表征学习性能。实验证明，这种方法在不同的骨干网络和数据集上都具有较好的性能表现，并且优于现有的 SSL-KD 方法。

Apr, 2023

在这篇论文中，我们提出了一种改进的双向知识迁移方法 Dense Cross-layer Mutual-distillation (DCM)，它采用了协作训练师生网络的方法，引入了辅助分类器和密集的双向知识蒸馏操作，在各种知识迁移任务中都表现出比相关方法更卓越的性能。

Aug, 2020

本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

Dec, 2020

应用动量知识蒸馏（MKD）来加强在线连续学习（OCL）方法，提高现有成果的准确度，将 MKD 视为 OCL 的核心组成部分。

Sep, 2023

本研究提出了用元学习结合知识蒸馏的方法（MetaDistil），可以在固定教师网络期间更好地向学生网络转移知识。在多个实验基准上，MetaDistil 可以比传统的知识蒸馏算法产生更显著的改进，并且对不同的学生容量和超参数的选择不太敏感，有助于在不同的任务和模型上使用知识蒸馏。

Jun, 2021

知识蒸馏是从预训练教师网络中学习轻量级学生网络的方法，但现有方法在原始训练数据不可用时往往不可行。为解决这个问题，该文提出了一种名为 “不同分布知识蒸馏” 的新方法（KD$^{3}$），其包括三个组件：从互联网收集训练实例，通过教师网络和学生网络的综合预测动态选择有用的训练实例；对齐两个网络的特征和分类器参数进行知识记忆；新建一个对比学习块以生成具有新分布的扰动数据用于实例对齐。该方法在不同基准数据集上的实验表明，KD$^{3}$ 能够超越现有的无数据知识蒸馏方法。

Jul, 2023

本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

Dec, 2019