该研究提出了一种基于空间 - 时间蒙面自编码器（STMAE）的多元时间序列（MTS）预测框架，利用蒙面自编码器来增强空间 - 时间基线模型的性能，并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。

Sep, 2023

提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

May, 2023

通过使用掩码自编码器进行预训练，我们提出了一种新颖的框架 STD-MAE，用于准确预测多变量交通流时间序列，该框架能够学习和编码复杂的时空依赖关系，并通过隐含表示增强下游时空交通预测模型的能力。

Dec, 2023

本文研究了使用 VideoMAE 进行自主监督视频预训练 (SSVP) 的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对 SSVP 更加重要。

Mar, 2022

通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

Aug, 2023

本文探讨了将自监督预训练用于基于 transformers 的 3D 网格数据分析的学习范式，并首先将 Vision Transformer 适应到 3D 网格数据处理中，即 Mesh Transformer，并通过 MAE 的启发，在 3D 网格数据上进行自学习，提出了 MeshMAE 方法，可以提供 3D 网格分析任务的最新性能，并证明了我们方法中关键设计的有效性。

Jul, 2022

研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

May, 2022

本文第一次提出了一种统一的理论框架，用数学方法解释 MAE 的强大表现，说明其基于补丁的注意力方法，并使用操作符理论阐明了 MAE 成功的主要原因。

Feb, 2022

本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

Nov, 2021

通过使用遮蔽自动编码器（MAE）的卫星图像的预训练框架 SatMAE，我们结合时间嵌入和分组打包多光谱数据以提高预训练能力，进一步提高基准数据集上的监督学习性能（最高可达 7%），并在后续的遥感分类任务中表现出强大的转移学习能力（最高可达 14%）。

Jul, 2022