ECCVMar, 2022

mc-BEiT：针对图像 BERT 预训练的多选项离散化

PDF
TL;DR本文提出了一种改进的 BERT-style 图像预训练方法，即 mc-BEiT，通过以多项选择形式指导被屏蔽的图像贴片生成监督信息，以及提高感知水平，以获取更好的视觉词汇标记。实验结果显示，相较于其他方法，预训练的 mc-BEiT 在图像分类，目标检测和语义分割任务中表现更为优异。
image bert pre-trainingmasked image modelingtokenizationmulti-choice supervisionobject detection
发现论文，激发创造
  • 用向量量化视觉令牌器进行遮蔽图像建模的 BEiT v2

    本文提出使用语义丰富的视觉分词器作为蒙版预测的重构目标，以将蒙版图像建模从像素级别推广到语义级别，包括矢量量化知识蒸馏、预训练 Vision Transformers 和图像聚合策略等，实现了对图像分类和语义分割的超过现有 MIM 方法的表现。

    Aug, 2022

  • BEiT: 图像 Transformer 的 BERT 预训练

    本研究介绍了一种名为 BEiT 的自监督视觉表示模型，使用双向编码器表示图像转换器并进行了预训练，效果显著。

    Jun, 2021

  • MVP: 多模态引导的视觉预训练

    本文介绍了一种名为 Multimodality-guided Visual Pre-training (MVP) 的方法，该方法利用来自其他几个模态的指导信息对图像进行预训练，取代了 Vision Transformer 中的 tokenizer，并在一系列下游视觉识别任务中取得了显著优越的效果。

    Mar, 2022

  • iBOT: 在线分词的图像 BERT 预训练

    本研究研究了掩蔽图像建模，并指出在使用语义上有意义的视觉分词器时的优势和挑战，提出了一种自我监督的框架 iBOT，可以使用在线分词器执行掩蔽预测。研究表明，iBOT 可以获得显着的结果，并在图像分类和下游任务中获得领先的结果。

    Nov, 2021

  • 利用遮盖图像建模来改善受监督的表征学习

    通过将 MIM 集成到现有的监督训练方法中，我们设计了一种简单而有效的方案，通过在视觉转换图像编码器上添加一个浅层的基于 Transformer 的解码器，并引入一个基于遮蔽图像输入的 MIM 任务，来改善下游任务的学习表示质量，如分类、图像检索和语义分割。

    Dec, 2023

  • 掩模图像建模与去噪对比

    本文提出了一种简单的自监督预训练框架 ConMIM，使用对比学习的方法在图像补丁级别上进行去噪自编码，通过不同的异构设计来提高网络的预训练性能，从而在多个视觉任务上实现了竞争性结果，如 ImageNet 分类，语义分割，目标检测和实例分割等。

    May, 2022

  • 图像作为外语：BEiT 预训练模型用于所有视觉和视觉语言任务

    本文介绍了通用的多模态基础模型 BEiT-3，通过三个方面的改进：骨干架构、预训练任务和模型扩展，实现了在视觉和视觉语言任务上的最先进转移性能。

    Aug, 2022

  • 预训练通用医学图像变换器

    通过使用自监督学习和空间自适应卷积技术，我们构建了一个通用的医学图像处理模型，可以高效处理各种医学图像数据，并在医学图像分类和分割任务上表现出更好的性能和标签效率。

    Dec, 2023

  • VL-BEiT: 生成式视觉 - 语言预训练

    提出了一种称为 VL-BEiT 的视觉语言基础模型，使用生成预训练学习的双向多模态 Transformer。该模型能够对单模态和多模态数据进行掩码预测。实验结果表明，VL-BEiT 在各种视觉语言基准测试中能够获得强大的结果，并学习到可转移的视觉特征，实现了在图像分类和语义分割上有着竞争性的表现。

    Jun, 2022

  • SdAE: 自我蒸馏的遮蔽式自编码器

    本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

    Jul, 2022