Nov, 2021

遮蔽自编码器是可扩展的视觉学习器

HTML
PDF
TL;DR本文展示掩码自动编码器(MAE)是可扩展的自监督计算机视觉学习器, 通过实现以两种核心设计为基础的MAE方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并Transfer Learning具有出色的性能。
发现论文，激发创造
  • 如何理解掩蔽自编码器

    本文第一次提出了一种统一的理论框架，用数学方法解释 MAE 的强大表现，说明其基于补丁的注意力方法，并使用操作符理论阐明了 MAE 成功的主要原因。

    Feb, 2022

  • 遮盖自编码器作为时空学习器

    研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

    May, 2022

  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • i-MAE：掩蔽自编码器中的潜在表示是否线性可分？

    本文介绍了一种名为i-MAE的简单而有效的可解释MAE (Interpretable MAE)框架，通过在CIFAR-10/100，Tiny-ImageNet和ImageNet-1K数据集上进行广泛实验，证明其是解释MAE框架行为的优秀设计，并提供了更好的表示能力。

    Oct, 2022

  • 利用分层潜变量模型理解遮蔽自动编码器

    本研究通过理论模型的建立及实验验证，提供了在Masked autoencoder框架下自监督学习的一些理论解释，并说明了其潜在局限性与未来改进方向。

    Jun, 2023

  • 掩盖式自编码器是高效的类增量学习器

    我们提出了使用Masked Autoencoders (MAEs)作为高效的学习器来解决Class Incremental Learning (CIL)的问题，并通过基于图像级和嵌入级融合的双边 MAE 框架获得更好质量的重建图像和更稳定的表示。实验证实了我们的方法在 CIFAR-100、ImageNet-Subset和ImageNet-Full 上优于现有技术。

    Aug, 2023

  • CL-MAE：课程学习掩码自编码器

    我们提出了一种基于课程学习的掩模自编码器（CL-MAE），通过不断增加自监督重建任务的复杂性，逐渐提高模型学习更复杂和可转移的表示能力，并使用Curriculum-Learned Masked Autoencoder (CL-MAE)在ImageNet数据集上进行训练，通过在五个下游任务上的实证结果验证了我们的猜想，展示了课程学习在自监督掩模自编码器中的成功应用。

    Aug, 2023

  • 从局部对比角度理解掩码自编码器

    通过对编码器-解码器架构以及局部对比学习的分析，本文探索了Masked AutoEncoder的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

    Oct, 2023

  • 更长范围上下文化的遮蔽自编码器

    我们提出了一种自我监督学习框架，称为“长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE能够学习到更具有区分性的表示，从而在ImageNet-1K上使用ViT-B实现了84.2%的top-1准确率，比基准模型提高了0.6%。LC-MAE在下游语义分割和细粒度视觉分类任务中取得了显著的性能提升，并在多个鲁棒性评估指标上均取得了优异的结果。

    Oct, 2023

  • 使用多级优化的掩码自编码器中的下游任务引导掩码学习

    Multi-level Optimized Mask Autoencoder (MLO-MAE) is a novel framework for visual representation learning that leverages end-to-end feedback from downstream tasks to learn an optimal masking strategy during pretraining, demonstrating remarkable improvements in adaptability and efficiency compared to existing methods.

    Feb, 2024