CVPRApr, 2023

自监督视觉表示学习的多模式在线知识蒸馏

PDF
TL;DR本文提出了一种多模在线知识蒸馏方法来提高自监督视觉表征学习，通过自蒸馏和交叉蒸馏两种蒸馏模式，实现了不同模型之间的知识交互，并通过跨注意力特征搜索策略增强了不同模型之间的语义特征对齐，实现了两个异构模型相互吸收知识以提高其表征学习性能。实验证明，这种方法在不同的骨干网络和数据集上都具有较好的性能表现，并且优于现有的 SSL-KD 方法。
self-supervised learningknowledge distillationvisual representation learningmulti-mode online knowledge distillationfeature alignment
发现论文，激发创造
  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • 在线对比学习的知识蒸馏在视觉识别中的应用

    论文提出了一种互惠对比学习（MCL）框架来进行基于网络的集成学习，可以提高模型的特征表达能力，从而提高视觉识别任务的性能。

    Jul, 2022

  • MixSKD: 图像识别中的 Mixup 自我知识蒸馏

    本文提出了将 Self-KD 应用于图像混合 (MixSKD) 的方法，该方法能够将原始图像和混合图像之间的特征映射和概率分布相互蒸馏，以便以跨图像的知识指导网络的学习，实验表明该方法优于其他最先进的 Self-KD 和数据增强方法。

    Aug, 2022

  • MSD: 多模态理解中的显著性感知知识蒸馏

    研究对知识蒸馏在多模态数据集上的应用，提出了一种多模态知识蒸馏框架 MSD，其中引入辅助损失项和基于显著度得分的加权方案以及基于权重学习的方法，实验结果表明 MSD 比 KD 在四个多模态数据集上表现更好。

    Jan, 2021

  • 可切换的在线知识蒸馏

    本文提出了 Switchable Online Knowledge Distillation (SwitOKD) 模型，通过在训练阶段通过专家模式（暂停教师）和学习模式（重新启动教师）之间进行自适应切换策略以校准蒸馏差距以提高学生的性能，并且将 SwitOKD 模型扩展到多个网络。

    Sep, 2022

  • 一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

    本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

    Sep, 2022

  • 多层知识蒸馏用于文本领域中的外部分布检测

    本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

    Nov, 2022

  • 轻量级自我知识蒸馏与多源信息融合

    提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

    May, 2023

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 在线多样化同行中的知识蒸馏

    本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

    Dec, 2019