Oct, 2020

基于 Transformer 的多变量时间序列表示学习框架

PDF
TL;DR本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。
发现论文，激发创造
  • 多维时序数据无监督可扩展表征学习

    通过一种无监督方法，提出了在长度和标签稀疏性方面都很具有可扩展性的编码器，通过时间负采样的三元损失组合将其与基于因果膨胀卷积的编码器结合，用于生成变长时间序列的通用表示，表现出了良好的质量、可转移性和实用性。

    Jan, 2019

  • 时间序列表示模型

    我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

    May, 2024

  • 多粒度的时间序列无监督表示学习框架

    本文提出了一个无监督的框架，实现了时间序列的多粒度表征学习，通过跨粒度变换器将细粒度和粗粒度表征进行关联，引入检索任务作为无监督训练任务来学习时间序列的多粒度表征，并设计了一种新颖的损失函数来通过无监督学习获取综合的多粒度时间序列表征，实验证明该框架相比其他表征学习模型具有显著优势。

    Dec, 2023

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 时间序列的无监督表示学习综述

    无监督时间序列数据表示学习方法的文献综述及开放性研究挑战的综合分析，通过统一标准化库对其进行了实证评估，并讨论了实际考虑因素和未来研究方向。

    Aug, 2023

  • 一种基于 Transformer 的多变量时间序列框架：以剩余使用寿命预测为例

    提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

    Aug, 2023

  • 无监督多模态特征对齐的时间序列表示学习

    我们的研究提出了一种创新方法，通过对齐和绑定不同模态的时间序列表示，以引导神经编码器揭示这些多模态特征之间的潜在模式关联，从而解决了由于复杂的特征融合方法和对异质特征的依赖导致的扩展性问题，并在多个应用领域的不同时间序列数据集上验证了该方法的有效性。

    Dec, 2023

  • 混合对比学习：时序的自监督表示学习

    提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

    Mar, 2022

  • 通过无监督时间序列表示学习提高临床预测

    本研究探讨了无监督表示学习在医学时间序列上的应用，结果表明无监督表示学习可以优于端到端监督体系结构，使用序列到序列模型 (Sequence-to-Sequence, Seq2Seq) 的效果最佳，通过第一次在无监督学习的医学时间序列中使用集成注意力机制，实现了预测性 Seq2Seq 模型的最佳表现。

    Dec, 2018

  • 多任务自监督时间序列表示学习

    本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

    Mar, 2023