Jun, 2023

混合蒸馏：将掩模自编码器与对比学习器连接

PDF
TL;DR本文探讨如何通过 Hybrid Distillation 策略，结合 Contrastive Learning 和 Masked Image Modeling 的优势，同时满足特征的判别性和多样性，并通过对比实验证明 Hybrid Distillation 在不同的基准测试上均可实现卓越的性能。
representation learningcontrastive learningmasked image modelinghybrid distillationfeature distillation
发现论文，激发创造
  • 特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下

    研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。

    May, 2022

  • MaskCLIP：屏蔽自蒸馏提升对比度语言 - 图片预训练

    该文介绍了一个名为 MaskCLIP 的简单而又有效的框架，将一种新提出的掩码自蒸馏方法融入了对比语言 - 图像预训练中。该框架主要利用掩码自蒸馏方法学习局部信息传递，这对文本相关表示的对比学习起到补充作用，并且一定程度上能够从自然语言中得到间接监督。同时，在文本分支中也引入了局部语义监督来提高预训练性能，这个框架在不同的任务中取得了很好的效果。

    Aug, 2022

  • 层次接枝预训练：将对比学习和遮蔽图像建模结合，实现低标签表示学习

    本文提出层级嫁接预训练 (Layer Grafted Pre-training) 方法，以笔者实验观察到的低层适合 MIM，高层适合 CL 为出发点，采用简单的 “顺序级联” 方式依次训练，旨在学习好的视觉表示。在 ImageNet-1k 数据集上，结合 ViT-B/16 能够取得 65.5% 的 1% few-shot 学习 Top-1 准确率，在无必要的改进的情况下提高了 MIM 和 CL 的基线水平 14.4% 和 2.1%。

    Feb, 2023

  • MimCo: 带对比教师的遮蔽图像建模预训练

    本文提出了一种名为 MimCo 的新型、灵活的预训练框架，通过两阶段的预训练，将 MIM 和对比学习相结合，提高了 MIM 预训练表示的线性可分性，取得了优越的性能。

    Sep, 2022

  • 基于遮蔽图像建模的异构生成式知识蒸馏

    针对小型卷积神经网络模型需要在计算资源有限的边缘设备上部署之前从大型模型中转移知识的问题，本文提出了一种基于遮蔽图像建模（MIM）的异构生成式知识蒸馏（H-GKD）方法，通过使用稀疏卷积训练一种 UNet 风格的学生模型，从遮蔽建模中有效模拟由教师模型推断出的视觉表示。我们的方法是一种简单而有效的学习范式，可以从异构教师模型中学习数据的视觉表示和分布。大量实验证明，该方法适用于各种模型和尺寸，在图像分类、目标检测和语义分割任务中始终保持最先进的性能。例如，在 Imagenet 1K 数据集中，H-GKD 将 Resnet50（sparse）的准确率从 76.98% 提高到 80.01%。

    Sep, 2023

  • 对比遮蔽自编码器是更强的视觉学习者

    Contrastive Masked Autoencoders (CMAE) is a new self-supervised pre-training method that unifies contrastive learning (CL) and masked image model (MIM) for learning more powerful visual representation, achieving state-of-the-art results on image classification, semantic segmentation, and object detection tasks.

    Jul, 2022

  • 学生不应看到的内容：基于注意力引导的遮蔽图像建模

    本文阐述了在计算机视觉领域中采用 Transformer 和掩蔽语言模型的新趋势，即视觉 Transformer 和掩蔽的图像建模 (MIM)。我们认为，在 MIM 中，图像记号掩蔽与文本中的掩蔽不同，因为它们之间的记号数量和相关性不同。为了为 MIM 生成一个具有挑战性的预文本任务，我们提出了一种从随机掩蔽到知情掩蔽的转变。我们在基于蒸馏的 MIM 的上下文中开发并展示了这个思想，其中教师 Transformer 编码器生成关注图，该图我们用于指导学生的掩蔽。因此，我们引入了一种新的掩蔽策略，称为注意力引导掩蔽 (AttMask)，并证明了它在密集的基于蒸馏的 MIM 以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。我们确认，AttMask 加速了学习过程并在各种下游任务中提高了性能。我们在此 https URL 提供了实现代码。

    Mar, 2022

  • 自我监督视觉变换器学习了什么？

    对比学习和掩模图像建模的比较研究，发现自监督视觉变换器（ViTs）在表示和下游任务性能方面具有不同的属性，可以互补，最简单的协调方法可以帮助利用这些方法的优点。

    May, 2023

  • DMKD: 通过双重掩模增强改进基于特征的目标检测知识蒸馏

    利用双重掩蔽知识蒸馏（DMKD）框架来捕捉空间重要性和通道相关信息以实现全面的掩蔽特征重构，通过自适应加权策略融合重构特征进行有效的特征蒸馏，在目标检测任务中与其他最先进的蒸馏方法相比，学生网络分别在 RetinaNet 和级联 Mask R-CNN 作为教师网络时取得了 4.1% 和 4.3% 的性能提升。

    Sep, 2023

  • 掩码生成蒸馏

    本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

    May, 2022