该研究提出了一种基于空间 - 时间蒙面自编码器（STMAE）的多元时间序列（MTS）预测框架，利用蒙面自编码器来增强空间 - 时间基线模型的性能，并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。

Sep, 2023

该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

Oct, 2022

研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

May, 2022

通过使用遮蔽自动编码器（MAE）的卫星图像的预训练框架 SatMAE，我们结合时间嵌入和分组打包多光谱数据以提高预训练能力，进一步提高基准数据集上的监督学习性能（最高可达 7%），并在后续的遥感分类任务中表现出强大的转移学习能力（最高可达 14%）。

Jul, 2022

通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

Aug, 2023

该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

Nov, 2023

在户外点云分割中，基于转换器等先进网络的建模能力受制于标注数据的稀缺性。为了更好地利用点云序列中蕴含的时间信息，本文提出了一种有效的预训练策略，即时序遮蔽自动编码器 (Temporal Masked AutoEncoders, T-MAE)，通过输入与时间相关的相邻帧并学习时间依赖关系。T-MAE 预训练策略结合了 SiamWCA 骨干网络，其中包含了孪生编码器和基于窗口的交叉注意力模块 (window-based cross-attention, WCA)，用于接收两帧输入。此外，为了提高目标对象的理解能力，时间建模还作为一种稳健且天然的数据增强方法，在同一对象的不同帧之间考虑自车运动改变的照明角度。通过使用遥远的历史帧而非连续帧，可以更加成本有效且强大。在自监督学习方法中，利用 T-MAE 预训练策略在 Waymo 数据集上实现了最佳性能。通过全面实验验证了本提案的所有组成部分。在接受后，源代码将会公开。

Dec, 2023

利用遥感数据构建了一个空间 - 时间 - 光谱结构化数据集（STSSD），并提出了一个新方法（A$^{2}$-MAE），通过预训练相互补充不同类型的遥感图像和地理信息来重构遮蔽补丁，实现了多种下游任务的全面改进。

Jun, 2024

使用数据驱动方法结合在线学习方法（包括使用自动标签任务的回归损失和使用隐式自编码器进行表示学习）来解决轨迹预测中的多个参与者和环境交互问题，并在各种跨数据集分布转移场景中验证了方法的有效性。

Mar, 2024

本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

Jul, 2022