May, 2024

时间序列表示模型

PDF
TL;DR我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。
time series analysistransformer-based techniquestime series representation modelsforecastingimputation
发现论文，激发创造
  • 基于 Transformer 的多变量时间序列表示学习框架

    本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

    Oct, 2020

  • 基于隐式神经表示的时间序列连续建模：插值与预测

    该研究提出了一种使用隐式神经表示法的时间序列建模方法，能够有效捕捉时间序列的连续性，并提供对处理缺失数据、不规则采样或多个传感器的不对齐观测等常见问题的自然解决方案，并通过实验表明，在预测和填充任务中取得了最先进的性能，能够灵活处理各种具有挑战性的场景。

    Jun, 2023

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • ImputeFormer: 用于可推广的时空插补的图变换器

    这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

    Dec, 2023

  • 通用时间序列表示学习调查

    使用深度学习从时间序列数据中提取隐藏模式和特征的研究现状和未来发展方向的综述。

    Jan, 2024

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 通过扩散过程和填补 - 插值 - 预测掩码进行时间序列表示的自监督学习

    通过自我监督学习方法构建的时间序列扩散嵌入模型 (Time Series Diffusion Embedding, TSDE) 在时间序列表示学习领域具有出色的性能，在缺失数据插补、插值、预测、异常检测、分类和聚类等任务上表现优异。

    May, 2024

  • 自监督变压器用于稀疏和不规则采样的多元临床时间序列

    提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法的正确性。

    Jul, 2021

  • HyperTime: 时间序列的隐式神经表示

    本文利用隐式神经表示技术分析了时间序列数据的表示问题，并提出了一种基于傅里叶变换的损失函数来指导网络训练的超网络结构，用于生成时间序列数据。我们证明了这个方法可以用于时间序列数据的扩充与生成，并且在此领域达到了最先进的方法的水平。

    Aug, 2022

  • T-Rep: 利用时间嵌入进行时间序列的表示学习

    多变量时间序列的自我监督学习方法 T-Rep 能够学习时间序列的表示，并提取出趋势、周期性、分布变化等时间特征。在分类、预测和异常检测任务中，T-Rep 表现优于现有的自我监督学习算法，并在处理缺失数据时表现更强韧。此外，通过潜空间可视化实验证明了学到的表示的可解释性。

    Oct, 2023