May, 2023

探究遮罩图像建模中的数据缩放

PDF
TL;DR本文旨在通过在使用 Coyo-700M 数据集进行实验，探究遮蔽图像建模 (MIM) 方法在不同大小和模型的情况下，进行下游任务的表现变化，并发现了 MIM 在训练数据规模较小时提高模型容量的效果、强重构目标能增加模型在下游任务中的容量，以及大多数情况下，MIM 预训练是数据不可知的。这些发现为未来的 MIM 研究提供了有价值的见解。
发现论文，激发创造
  • 揭示面具图像建模的黑暗秘密

    本研究通过可视化和实验的角度比较了遮蔽图像模型（MIM）和长期优势的监督式预训练模型的关键表现差异，发现 MIM 可以在所有训练模型的层上引入位置归纳偏差并保持所有层的多样性，从而在较弱语义或细粒度分类任务中表现出色。

    May, 2022

  • 局部多尺度重建的遮盖图像建模

    本文提出了一种 Masked Image Modeling（MIM）的改进方案，通过在多个不同尺度的层次上进行重构任务，显式地指导多个层次的编码器，在减小预训练负担的同时，在分类、检测和分割任务中取得可比或更好的性能。

    Mar, 2023

  • DailyMAE：朝着一天内预训练掩膜自编码器

    本研究提出了有效的训练方案，以降低数据加载瓶颈和维持预训练性能，实现了高效的自监督学习训练，为更广泛的可访问性和推动自监督学习研究的进展铺平了道路。

    Mar, 2024

  • 通过扩大规模，也许您可以实现与人类相同的视觉体验，达到人类水平的目标识别能力

    如果同时扩大数据规模、模型大小和图像分辨率，通过自监督学习可以实现人类级的视觉目标识别能力，而且使用基于掩码自编码器的高效自监督学习算法，可以在低成本的学术预算下进行扩展实验。

    Aug, 2023

  • 基于遮罩的图像建模技术在三维医学图像分析中的应用进展

    本文研究了遮蔽图像建模技术在医学三维图像分析中的应用，发现其相比基于对比学习的方法能够更快地进行监督学习并达到更高的精度，使用高遮蔽率和相对较小的块大小预测原始像素值是医学图像建模的一项重要自监督预训练任务，轻量级的解码器或投影头设计能够加快训练速度并降低成本，而 MIM 方法在不同的图像分辨率和标签数据比例下都具有良好的效果。

    Apr, 2022

  • 更长范围上下文化的遮蔽自编码器

    我们提出了一种自我监督学习框架，称为 “长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE 能够学习到更具有区分性的表示，从而在 ImageNet-1K 上使用 ViT-B 实现了 84.2% 的 top-1 准确率，比基准模型提高了 0.6%。LC-MAE 在下游语义分割和细粒度视觉分类任务中取得了显著的性能提升，并在多个鲁棒性评估指标上均取得了优异的结果。

    Oct, 2023

  • 利用遮盖图像建模来改善受监督的表征学习

    通过将 MIM 集成到现有的监督训练方法中，我们设计了一种简单而有效的方案，通过在视觉转换图像编码器上添加一个浅层的基于 Transformer 的解码器，并引入一个基于遮蔽图像输入的 MIM 任务，来改善下游任务的学习表示质量，如分类、图像检索和语义分割。

    Dec, 2023

  • 遮蔽自编码器是可扩展的视觉学习器

    本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

    Nov, 2021

  • 大规模遥感数据集上有效的掩码自编码器学习扩展

    这篇研究介绍了 RS-4M，一个大规模的数据集，用于在遥感图像上进行高效的 Masked Image Modeling（MIM）训练。同时提出了一种名为 SelectiveMAE 的高效 MIM 方法，通过动态编码和重构一部分基于语义丰富性选择的补丁令牌，显著提升了 MIM 模型的训练效率和基线模型的分类、检测和分割性能。

    Jun, 2024

  • SRMAE：用于尺度不变深度表示的遮蔽图像建模

    基于图像尺度的自监督信号，使用超分辨率方法设计的预测头部能够重建输入图像，提高图像识别任务的准确率并捕捉尺度不变表达。

    Aug, 2023