Oct, 2022

遮蔽图像建模的统一视角

PDF
TL;DR本文提出了一种统一的视角，针对现有方法进行了修订，并引入了一种名为 MaskDistill 的简单而有效的方法，通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征，以解决大规模训练视觉转换器中需要大量标记的问题，实验结果表明，MaskDistill 在图像分类和语义分割方面的表现优于现有技术。
masked image modelingvision transformersmaskdistill methodimage classificationsemantic segmentation
发现论文，激发创造
  • 掩蔽自编码器实现高效知识蒸馏

    本文研究了从预训练模型中提取知识的潜力，提出了一种基于 Masked Autoencoders 的知识蒸馏框架，通过优化像素重构损失和最小化教师模型和学生模型中间的特征图之间的距离，从而实现计算上的高效率。实验结果表明，与直接蒸馏微调后的模型相比，蒸馏预训练模型可以显著提高下游性能，例如将 MAE 预训练的 ViT-L 蒸馏到一个 ViT-B 中，可以获得 84.0% 的 ImageNet top-1 精度，比直接蒸馏经过微调的 ViT-L 高出 1.2%。

    Aug, 2022

  • 遮蔽视频蒸馏：重新思考遮蔽特征建模，以进行自监督视频表示学习

    本文提出基于两阶段模型的掩模视频蒸馏方法 (MVD)，并采用空间 - 时间共同教学方法进行电影变换器的预训练，实验证明该方法对于多个视频数据集优于现有方法。

    Dec, 2022

  • 掩码生成蒸馏

    本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

    May, 2022

  • 使用 Transformer 发现对象掩膜，用于无监督语义分割

    该论文提出 MaskDistill 这一基于数据驱动策略的无监督语义分割框架，通过生成像素分组先验和聚类对象掩模来训练初始对象分割模型并过滤低质量对象掩模，从而有效提高 PASCAL 和 COCO 上的性能。

    Jun, 2022

  • 特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下

    研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。

    May, 2022

  • 有监督的遮蔽知识蒸馏用于小样本变压器

    本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

    Mar, 2023

  • 学生不应看到的内容：基于注意力引导的遮蔽图像建模

    本文阐述了在计算机视觉领域中采用 Transformer 和掩蔽语言模型的新趋势，即视觉 Transformer 和掩蔽的图像建模 (MIM)。我们认为，在 MIM 中，图像记号掩蔽与文本中的掩蔽不同，因为它们之间的记号数量和相关性不同。为了为 MIM 生成一个具有挑战性的预文本任务，我们提出了一种从随机掩蔽到知情掩蔽的转变。我们在基于蒸馏的 MIM 的上下文中开发并展示了这个思想，其中教师 Transformer 编码器生成关注图，该图我们用于指导学生的掩蔽。因此，我们引入了一种新的掩蔽策略，称为注意力引导掩蔽 (AttMask)，并证明了它在密集的基于蒸馏的 MIM 以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。我们确认，AttMask 加速了学习过程并在各种下游任务中提高了性能。我们在此 https URL 提供了实现代码。

    Mar, 2022

  • 用于预训练小型基础模型的非对称遮蔽蒸馏

    通过非对称蒙版蒸馏 (AMD) 框架，以无监督学习为基础的相对较小视觉变换器模型能够高效适应下游任务，提高分类准确率和性能表现。

    Nov, 2023

  • 基于学生 - 教师模型的去泛化自编码器知识蒸馏

    该研究提出了一种通用到特定蒸馏法 (G2SD)，以在受掩膜自编码器预训练的大型模型的监督下激发小型 ViT 模型的潜力，从而在图像分类、目标检测和语义分割任务上设置了坚实的基线。

    Feb, 2023

  • 带有接收标记的遮蔽蒸馏

    本文提出了一种学习嵌入称为感受野标记的方法，该方法可以通过像素级注意力生成的蒸馏掩模在掩模上执行蒸馏。我们采用了多个感受野标记来研究更复杂和更具信息性的像素依赖性，从而进一步增强了去卷积过程。在物体检测和语义分割基准测试中，我们的方法（MasKD）可以始终达到最先进的性能，并且无需应用任务的先验知识。

    May, 2022