Nov, 2023

视觉与语言的同步：用于指代图像分割的双向标记掩码自编码器

PDF
TL;DR提出了一种新的双向掩蔽自编码器（BTMAE）模型，通过重建图像和语言特征中的缺失特征来学习图像与语言的上下文，并实现在复杂语句和场景中的强鲁棒性，提高推理图像分割的性能。
referring image segmentationcontextual informationbidirectional token-masking autoencodermasked autoencoderris performance
发现论文，激发创造
  • 基于检索的对话系统的上下文蒙版自编码器

    本研究提出了 Dial-MAE 技术，它是一种针对对话回答选择的后期训练技术，使用了对话语境掩码自动编码器和不对称编码器 - 解码器架构来更好地压缩对话语义，并在两个常见的基准测试中取得了最先进的性能。

    Jun, 2023

  • 通过遮蔽自编码器预训练针对检索的语言模型 RetroMAE

    本研究提出一种新的基于 Masked Auto-Encoder 的检索导向的预训练模型 RetroMAE，通过三个关键设计，包括污染输入、不对称模型结构和不对称的遮盖比率，取得了令人满意的实验结果，大幅提高了在 BEIR 和 MS MARCO 等检索基准测试中的性能表现。

    May, 2022

  • RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型

    本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。

    May, 2023

  • 多模态掩模自编码器学习可转移表示

    本论文提出一种基于 Masked Token 预测的大型多模式模型 (M3AE)，能在不引入偏好于数据增强的对比学习目标的情况下，学习出适用于下游任务的可传递表示，并证明了高文本遮盖率下训练能够显著提升模型性能。M3AE 能够在配对和非配对的图像 - 文本数据上训练，具有可扩展性和灵活性。

    May, 2022

  • RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器

    本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。

    Nov, 2022

  • 孪生掩模自编码器

    本文提出了基于 SiamMAE 的 Siamese Masked Autoencoders 方法，使用视频学习视觉对应关系，通过对大量补丁进行遮罩，鼓励网络集中学习运动对象和学习以对象为中心的表示。该方法可以在不依赖数据增强或用于防止表示崩溃的手工制作跟踪先兆任务或其他技术的情况下，实现与先前的自我监督方法相比更好的表现。

    May, 2023

  • MARIS: 基于共互关注特征的图像指代分割

    通过引入互感关注机制来强化交叉模态融合，提出了一种新的参考图像分割方法 MARIS，借助于 Segment Anything Model (SAM)，通过两个并行分支，Vision-Guided Attention 和 Language-Guided Attention，双向建模视觉与语言特征之间的关系，并设计了一个 Mask Decoder 来实现明确的语言引导，以达到更一致的分割效果。

    Nov, 2023

  • SemMAE：用语义引导的遮蔽训练自编码器

    本文提出了一种 Semantic-Guided Masking 策略，通过引入语义部分将语义信息集成到 MAE 训练过程中，以学习更好的图像表示。该训练方法在各种视觉任务中都可以表现出色，特别是在 ImageNet-1k 中实现了 84.5% 的细调准确度，比基本 MAE 高 1.4%。

    Jun, 2022

  • 探索用于遥感中与传感器无关图像检索的掩模自编码器

    遥感图像的自监督学习通过掩码自编码器（MAEs）近期吸引了广泛关注，该方法在内容基准图像检索（CBIR）方面具有重要潜力。然而，现有研究假设考虑的遥感图像是由单一图像传感器获取的，因此仅适用于单模态 CBIR 问题。本文首次探讨了 MAEs 在遥感领域跨传感器 CBIR 中的有效性，并针对多传感器遥感图像库提出了掩码图像建模的不同 CSMAE 模型，通过广泛的实验分析得出了利用掩码图像建模解决单模态和跨模态 CBIR 问题的指导方针。

    Jan, 2024

  • MixMAE: 混合和掩蔽自编码器用于高效的分层视觉 Transformer 预训练

    本文提出了一种名为 MixMAE 的方法，可以有效地预先训练不同的分层视觉转换器，并取代掩蔽图像建模（MIM）方法，仍然可以对受损图像进行建模，而不会导致训练速度慢和预处理 - 微调不一致性问题。实验结果表明，使用 MixMAE 进行预处理可在各种分层 Transformer 架构上学习高质量的视觉表示。

    May, 2022