Sep, 2023

揭示空间时间遮挡自编码器在多变量时间序列预测中的威力

PDF
TL;DR该研究提出了一种基于空间 - 时间蒙面自编码器（STMAE）的多元时间序列（MTS）预测框架，利用蒙面自编码器来增强空间 - 时间基线模型的性能，并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。
multivariate time series forecastingspatial-temporal modelsmasked autoencodersdata scarcitymodel robustness
发现论文，激发创造
  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • 时空解耦掩码预训练用于交通预测

    通过使用掩码自编码器进行预训练，我们提出了一种新颖的框架 STD-MAE，用于准确预测多变量交通流时间序列，该框架能够学习和编码复杂的时空依赖关系，并通过隐含表示增强下游时空交通预测模型的能力。

    Dec, 2023

  • A$^{2}$-MAE：一种基于锚点感知屏蔽自编码器的空时谱统一遥感预训练方法

    利用遥感数据构建了一个空间 - 时间 - 光谱结构化数据集（STSSD），并提出了一个新方法（A$^{2}$-MAE），通过预训练相互补充不同类型的遥感图像和地理信息来重构遮蔽补丁，实现了多种下游任务的全面改进。

    Jun, 2024

  • 遮盖自编码器作为时空学习器

    研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

    May, 2022

  • SatMAE: 为时间序列和多光谱卫星图像预训练 Transformers

    通过使用遮蔽自动编码器（MAE）的卫星图像的预训练框架 SatMAE，我们结合时间嵌入和分组打包多光谱数据以提高预训练能力，进一步提高基准数据集上的监督学习性能（最高可达 7%），并在后续的遥感分类任务中表现出强大的转移学习能力（最高可达 14%）。

    Jul, 2022

  • 预测 MAE：基于掩码自编码器的运动预测的自监督预训练

    通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

    Aug, 2023

  • 增强型时空图神经网络预训练在多元时间序列预测中的应用

    本文介绍了一种新型的预训练框架，将 “可扩展时间序列预训练模型”（STEP）与 “空间 - 时间图神经网络”（STGNN）相结合，通过长期历史时间序列数据的预处理，提供上下文信息，显著提高预测准确性。

    Jun, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • 时间潜变量自编码器：一种概率多元时间序列预测方法

    本研究介绍了一种新颖的时间潜在自编码器方法以实现多元时间序列的非线性分解，并通过解码器建模输入序列的复杂分布，得到极好的表现。

    Jan, 2021

  • AdaMAE：自适应掩模自编码器实现高效时空学习

    本文提出了一种自适应掩蔽策略 AdaMAE，通过语义上下文采样网络有效地学习高空间时间信息的特征，达到更好的分类效果和更快的预训练速度。

    Nov, 2022