自我监督学习中在线知识蒸馏

CVPRApr, 2021

Distill on the Go: Online knowledge distillation in self-supervised learning

Prashant Bhat, Elahe Arani, Bahram Zonooz

TL;DR本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

Abstract

self-supervised learning solves pretext prediction tasks that do not require annotations to learn feature representations. For vision tasks, pretext tasks such as predicting rotation, solving jigsaw are solely created from the input data. Yet, predicting this known information helps in

self-supervised learning distill-on-the-go (dogo)online knowledge distillation mutual learning limited labels

发现论文，激发创造

知识蒸馏与自监督相遇

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

自监督知识蒸馏用于少样本学习

该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Jun, 2020

数据蒸馏：走向全监督学习

通过数据精炼方法，利用所有可用的标记数据和互联网规模的未标记数据，从而超过单纯使用有标记数据的最新颖全监督式监督学习方法。

Dec, 2017

多层知识蒸馏用于文本领域中的外部分布检测

本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

Nov, 2022

多任务自监督学习知识蒸馏在视频分类中的应用

本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。

Apr, 2018

从自监督学习中提取视觉先验

本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

Aug, 2020

自监督视觉表示学习的多模式在线知识蒸馏

本文提出了一种多模在线知识蒸馏方法来提高自监督视觉表征学习，通过自蒸馏和交叉蒸馏两种蒸馏模式，实现了不同模型之间的知识交互，并通过跨注意力特征搜索策略增强了不同模型之间的语义特征对齐，实现了两个异构模型相互吸收知识以提高其表征学习性能。实验证明，这种方法在不同的骨干网络和数据集上都具有较好的性能表现，并且优于现有的 SSL-KD 方法。

Apr, 2023

消除任何人的落后：在线自我监督自我蒸馏用于顺序推荐

在线自监督自蒸馏的顺序推荐方法（S^4Rec）应用于现代推荐系统中，通过在线聚类和对抗学习策略来有效地处理数据稀疏性和用户行为数据有限性的挑战，并利用自监督学习和自蒸馏方法实现知识传递。

Mar, 2024

层次自监督增强知识蒸馏

本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

Jul, 2021

在线多样化同行中的知识蒸馏

本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

Dec, 2019