标签掩码自编码器 (L-MAE)：一种纯 Transformer 方法来增强语义分割数据集

Nov, 2022

标签掩码自编码器 (L-MAE)：一种纯 Transformer 方法来增强语义分割数据集

Label Mask AutoEncoder(L-MAE): A Pure Transformer Method to Augment Semantic Segmentation Datasets

Jiaru Jia, Mingzhe Liu, Jiake Xie, Xin Chen, Aiqing Yang...

TL;DR该论文提出了一种基于标签自动编码器的像素级别完整方法，通过融合策略实现图片修补，并且采用了图像补丁补充算法，取得了较好的语义分割结果。

Abstract

semantic segmentation models based on the conventional neural network can achieve remarkable performance in such tasks, while the dataset is crucial to the training model process. Significant progress in expandin

semantic segmentation neural network semi-supervised learning label completion image patch supplement

发现论文，激发创造

混合自编码器用于自监督视觉表征学习

本文研究了 Masked Autoencoder 的数据扩增问题，提出了基于同源识别的 Mix Autoencoder 方法，通过自监督预训练可以提升下游视觉任务表现，在 ImageNet、ADE20K 和 COCO 数据集上 outperforms 了 MAE 和 iBOT 的方法。

Mar, 2023

增强掩模自编码器的伪标记

提出了一种增强的方法，通过集成伪标记和基于标记的重建来提高 Masked Autoencoders（MAE）的性能，在网络中促进实例级别的区分并捕捉局部上下文。

Jun, 2024

SemMAE：用语义引导的遮蔽训练自编码器

本文提出了一种 Semantic-Guided Masking 策略，通过引入语义部分将语义信息集成到 MAE 训练过程中，以学习更好的图像表示。该训练方法在各种视觉任务中都可以表现出色，特别是在 ImageNet-1k 中实现了 84.5% 的细调准确度，比基本 MAE 高 1.4%。

Jun, 2022

LoMAE：低剂量 CT 去噪的低层次视觉遮蔽自编码器

通过引入一种名为 LoMAE 的低水平视觉 MAE 模型，本研究展示了一种提高 transformer 去噪性能的方法，极大地减少了对干净数据的依赖，并在不同噪声水平下展现了显著的鲁棒性和普适性。

Oct, 2023

全局 - 局部蒙版自编码器在体积医学图像分割中的应用

提出了一种名为全局局部遮挡自编码器 (GL-MAE) 的简单而有效的自监督预训练策略，它可以重构遮挡的全局和局部体积，并通过全局引导一致性学习和局部到全局的对应加强和稳定掩蔽体积的表示学习。结果表明，在各种体积医学图像细分任务上，与其他自监督算法相比，该方法具有卓越的表现，即使注释很少也是如此。

Jun, 2023

更长范围上下文化的遮蔽自编码器

我们提出了一种自我监督学习框架，称为 “长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE 能够学习到更具有区分性的表示，从而在 ImageNet-1K 上使用 ViT-B 实现了 84.2% 的 top-1 准确率，比基准模型提高了 0.6%。LC-MAE 在下游语义分割和细粒度视觉分类任务中取得了显著的性能提升，并在多个鲁棒性评估指标上均取得了优异的结果。

Oct, 2023

遮蔽自编码器是可扩展的视觉学习器

本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

Nov, 2021

MultiMAE: 多模态多任务掩蔽自编码器

提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

Apr, 2022

医学监督下的自编码器：为医学图像分类制定更好的遮盖策略和高效的微调计划

本文提出了一种 Medical Supervised Masked Autoencoder (MSMAE) 模型来解决传统 Masked Autoencoder (MAE) 模型在医学图像分类和分割中存在的问题，通过监督训练精确地遮蔽医学图像以及在微调阶段通过注意力机制指导遮蔽医学图像，显著提高了 MSMAE 模型的计算效率和医学诊断质量。

May, 2023

通过感知理解提高视觉表征学习

本文介绍了一种基于 MAE 的扩展方法，通过引入感知相似度项和采用来自生成对抗网络领域的多级训练和自适应鉴别器增强等技巧，可以更好地重构像素并学习到更高级别的场景特征，进而在不使用其他预训练模型或数据的情况下，提高了图片分类等下游任务的性能，并在 ImageNet-1K 数据集上达到了 78.1% 的准确率。

Dec, 2022