这篇论文介绍了一种基于时间序列的自监督模型，通过采用 Transformer 架构和多尺度嵌入模块，在大规模数据集上取得了显著的改进，建立了新的最优实验结果。

Oct, 2023

本文提出了一种模块化和可解释的预测框架 SCNN，可以分离时间序列数据中的结构和异构组成部分，并分别预测其演变。在三个实际数据集上的实验证明了 SCNN 可以胜过现有模型并具有更好的可追溯性和可预测性。

May, 2023

提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法的正确性。

Jul, 2021

通过一种无监督方法，提出了在长度和标签稀疏性方面都很具有可扩展性的编码器，通过时间负采样的三元损失组合将其与基于因果膨胀卷积的编码器结合，用于生成变长时间序列的通用表示，表现出了良好的质量、可转移性和实用性。

Jan, 2019

本文提出了一种通用的 MTS 预训练模型 DBT-DMAE，其中包括缺失表示模块，并给出了一个自编码器结构以获得 MTS 的编码表示，最后建立整体馈送和丢失策略以确保模型的充分训练。 实验结果表明，DBT-DMAE 在 6 个真实数据集和 2 个不同的下游任务中均优于其他最先进的方法，并进行了剖析和可解释性实验以验证其有效性。

Sep, 2022

本文提出了一种名为 PoGeVon 的模型，基于 VAE，利用基于随机游走的节点位置嵌入和多任务学习的三阶段预测，对存在节点特征和图结构上的缺失值的网络化时间序列进行了精确的缺失值预测和图结构重构。

May, 2023

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

Oct, 2022

这项研究提出了一种新颖的方法来解决多元时间序列中缺失数据的挑战，特别关注医疗数据的复杂性。我们的条件自注意力填补模型（CSAI），基于变换器框架，引入了针对医学时间序列数据的条件隐藏状态初始化。此方法与传统填补技术不同之处在于专门针对医疗数据集中经常被忽视的缺失数据分布的不平衡进行调整。通过整合先进的知识嵌入和非均匀掩蔽策略，CSAI 能够灵活调整至电子病历中缺失数据的独特模式。

Dec, 2023

本文介绍了一种新的框架，通过提取和聚类高度激活 CNN 神经元的输入表征模式来解释多元时间序列数据，以捕获输入信号的作用和依赖关系，并构建一个捕获每层提取模式的时间关系的图形，最后使用图形嵌入算法生成可解释的时间序列特征表示。通过在 8 个 UCR/UEA 归档数据集以及 HAR 和 PAM 数据集上运行广泛的实验，证明了我们的时间感知基于图形的表征在 MTS 分类中具有明显优势，并丰富了它们的可解释性。

Jun, 2023