ICCVAug, 2023

预测 MAE：基于掩码自编码器的运动预测的自监督预训练

PDF
TL;DR通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。
self-supervised learningmotion forecastingforecast-maemask autoencodersargoverse 2
发现论文，激发创造
  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • 自监督掩码图自编码器

    本研究提出了一种掩蔽图自编码器 (GraphMAE)，解决了基于结构数据增强和复杂的训练策略的对比学习的不足之处，侧重于特征重建，并表现出优异的性能。

    May, 2022

  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • 模态不可知的元学习遮蔽自编码器的自监督学习

    通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构视为元学习任务，并通过未掩码标记的变换器元学习的涉及来预测掩码令牌。基于这个新颖的解读，我们提出了集成两种先进的元学习技术的方法。首先，我们使用基于梯度的元学习来适应变换器编码器的平均潜在因素以增强重构。然后，我们通过任务对比学习来最大化平均化和适应化潜在因素之间的对齐，从而指导变换器编码器更好地编码任务特定的知识。我们的实验证明了 MetaMAE 在与模态无关的自监督学习基准（称为 DABS）中的优越性，明显优于之前的基线。

    Oct, 2023

  • 时空解耦掩码预训练用于交通预测

    通过使用掩码自编码器进行预训练，我们提出了一种新颖的框架 STD-MAE，用于准确预测多变量交通流时间序列，该框架能够学习和编码复杂的时空依赖关系，并通过隐含表示增强下游时空交通预测模型的能力。

    Dec, 2023

  • 带有掩码自编码器的预训练天气模型用于多变量天气预报

    通过预训练技术，我们提出了一种基于自编码器的气象模型 W-MAE 用于多变量天气预报，在长时间范围内建模了气象变量的空间相关性，在时间尺度上，我们利用预训练的 W-MAE 对气象变量进行未来状态的预测，与 FourCastNet 模型进行比较，W-MAE 具有更好的降雨预测性能，特别是在短到中期范围内的预测中。

    Apr, 2023

  • 基于遮挡自编码器的视频无监督预训练技术

    本文研究了使用 VideoMAE 进行自主监督视频预训练 (SSVP) 的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对 SSVP 更加重要。

    Mar, 2022

  • 自监督学习在自动驾驶的运动预测中的应用

    本研究首次系统地探索和评估了将自我监督学习纳入动态预测的潜力，并建议使用四个自我监督学习任务进行动态预测，其中辅助自我监督任务不仅可以提高预测准确性，而且具有低推理时间和建筑复杂性。

    Jun, 2022

  • T4P：通过遮蔽自动编码器和特定角色记忆的测试时轨迹预测训练

    使用数据驱动方法结合在线学习方法（包括使用自动标签任务的回归损失和使用隐式自编码器进行表示学习）来解决轨迹预测中的多个参与者和环境交互问题，并在各种跨数据集分布转移场景中验证了方法的有效性。

    Mar, 2024