掩码自编码器作为预训练句子表示的统一学习者

Jul, 2022

掩码自编码器作为预训练句子表示的统一学习者

Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation

Alexander Liu, Samuel Yang

TL;DR该研究实现了扩展 MAE 预训练策略 RetroMAE 的统一框架以支持多样化的句子表示任务，并证明其在零样本检索和其他下游任务中的有效性，为未来的句子表示预训练的设计提供了实证建议。

Abstract

Despite the progresses on pre-trained language models, there is a lack of unified frameworks for pre-trained sentence representation. As such, it calls for different pre-training methods for specific scenarios, a

pre-trained language models pre-training methods mae style pre-training strategy domain-specific data downstream tasks

发现论文，激发创造

通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

May, 2022

RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

May, 2023

RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

Nov, 2022

VarMAE: 可变分蒸馏自编码器的预训练，用于领域自适应语言理解

本文提出了一种基于 Transformer 的语言模型 ——VarMAE，通过上下文不确定性学习模块，将限定的语料库转化为平滑的潜在分布，从而为特定领域提供多样性和良好形式的上下文表示，实验证明 VarMAE 在科学和金融领域的 NLU 任务中，可以高效地适应有限资源的新领域。

Nov, 2022

如何理解掩蔽自编码器

本文第一次提出了一种统一的理论框架，用数学方法解释 MAE 的强大表现，说明其基于补丁的注意力方法，并使用操作符理论阐明了 MAE 成功的主要原因。

Feb, 2022

基于注意力引导的蒙版自动编码器用于学习图像表示

利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

Feb, 2024

从局部对比角度理解掩码自编码器

通过对编码器 - 解码器架构以及局部对比学习的分析，本文探索了 Masked AutoEncoder 的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

Oct, 2023

CorrMAE：预训练具有遮盖自编码器的对应变换器

我们提出了一种预训练方法，通过重构遮蔽通信并提供强大的初始表示，以获取普适的内点一致性表示，从而在后续任务中取得显著的改进。

Jun, 2024

PersonMAE: 使用遮罩自编码器进行人物再识别预训练

我们提出了一个简洁而有效的预训练框架，名为 PersonMAE，通过引入两个核心设计到遮挡自编码器中，以更好地为 Person Re-ID 任务提供服务，并在四个下游任务中实现了最先进的性能。

Nov, 2023

自监督先训练用于可迁移多模态感知

这篇论文介绍了一种用于可转移多模式表示学习的自监督预训练范式，利用 NeRF 支持的遮蔽自动编码器（NS-MAE）来提供高效且高性能的微调的预训练模型初始化，通过在神经辐射场（NeRF）中进行遮蔽多模式重建来训练模型以重建缺失或损坏的多模式输入数据，证明了 NS-MAE 表示在不同的多模式和单模式感知模型之间的良好可转移性，该可转移性在不同程度的微调标签数据下通过各种 3D 感知下游任务进行了评估，例如 3D 对象检测和 BEV 地图分割。

May, 2024