Nov, 2023

PersonMAE: 使用遮罩自编码器进行人物再识别预训练

PDF
TL;DR我们提出了一个简洁而有效的预训练框架，名为 PersonMAE，通过引入两个核心设计到遮挡自编码器中，以更好地为 Person Re-ID 任务提供服务，并在四个下游任务中实现了最先进的性能。
pre-trainingperson re-identificationmasked autoencodersocclusion robustnessstate-of-the-art performance
发现论文，激发创造
  • R-MAE: 区域遇见掩模自编码器

    本研究探讨了基于区域的检测器在无监督学习中的应用，使用掩膜自编码和自生成对抗网络（GAN）等方法进行重构预训练，提高了图像分割的精度和效率。

    Jun, 2023

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • Social-MAE：多人动作表示学习的社交遮罩自编码器

    为了理解多人场景，我们引入了 Social-MAE，一种基于 transformer 的带掩码自编码器框架，用于多人人体运动数据，并在高级社交任务中达到了最先进的结果。

    Apr, 2024

  • 通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

    本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

    May, 2022

  • 从局部对比角度理解掩码自编码器

    通过对编码器 - 解码器架构以及局部对比学习的分析，本文探索了 Masked AutoEncoder 的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

    Oct, 2023

  • 基于遮挡自编码器的视频无监督预训练技术

    本文研究了使用 VideoMAE 进行自主监督视频预训练 (SSVP) 的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对 SSVP 更加重要。

    Mar, 2022

  • 医学监督下的自编码器：为医学图像分类制定更好的遮盖策略和高效的微调计划

    本文提出了一种 Medical Supervised Masked Autoencoder (MSMAE) 模型来解决传统 Masked Autoencoder (MAE) 模型在医学图像分类和分割中存在的问题，通过监督训练精确地遮蔽医学图像以及在微调阶段通过注意力机制指导遮蔽医学图像，显著提高了 MSMAE 模型的计算效率和医学诊断质量。

    May, 2023

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022

  • SdAE: 自我蒸馏的遮蔽式自编码器

    本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

    Jul, 2022

  • RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

    本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

    May, 2023