Oct, 2023

适用于不规则采样的多变量时间序列的兼容式 Transformer

PDF
TL;DR提出了 Compatible Transformer (CoFormer)，一种基于 Transformer 的编码器，用于处理不规则多变量时间序列，并在分类和预测等下游任务中表现出显著的性能优势。
multivariate time seriesirregular subsamplingcompatible transformertemporal-interaction feature learningdownstream tasks
发现论文，激发创造
  • 时间序列作为图像：用于不规则采样时间序列的视觉 Transformer

    本文旨在利用图像分类的方式，将不规则采样的时间序列转换为线图像，应用于医疗应用中的时间序列分类问题，大大简化了算法设计，同时在多个数据集上显示出良好的性能，特别是在具有挑战性的离散传感器设置中，绝对 F1 分数提高了 54.0％。

    Mar, 2023

  • ContiFormer：用于不规则时间序列建模的连续时间 Transformer

    ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型，将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合，具有优越的建模能力和对于不规则时间序列数据的预测性能。

    Feb, 2024

  • Warpformer：一种针对不规则临床时间序列的多尺度建模方法

    Warpformer 是一种全新的方法，考虑了多元时间序列的内部不规则性和不同序列之间的差异，通过设计特殊的输入表示，变形模块和注意力模块，生成多尺度表示，用于各种下游任务。

    Jun, 2023

  • DSformer：一种用于多变量时间序列长期预测的双抽样 Transformer

    通过利用全局信息、局部信息和变量相关性，我们提出了一种双采样变压器（DSformer）模型，用于多元时间序列的长期预测，并且在九个真实数据集上的实验结果表明，DSformer 优于其他八种现有的基准模型。

    Aug, 2023

  • 不规则采样时间序列的学习：缺失数据视角

    本文介绍一种基于变分自编码器和生成对抗网络的编码器 - 解码器框架，用于学习不规则采样的时间序列数据，提出了一种连续卷积层用于与现有神经网络体系结构高效对接。实验证明，该模型在不规则多元时间序列分类的结果上可以比最近的 RNN 模型表现得更好，同时具有显著更快的训练速度。

    Aug, 2020

  • VCformer：具有内在滞后相关性的多元时间序列预测中的变量相关变压器

    多元时间序列预测：提出了 Variable Correlation Transformer (VCformer) 模型，通过 Variable Correlation Attention (VCA) 模块挖掘变量之间的相关性，并结合 Koopman Temporal Detector (KTD) 来处理时间序列的非平稳性，实验证明 VCformer 在真实数据集上取得了优异的性能。

    May, 2024

  • 基于 Transformer 的多变量时间序列表示学习框架

    本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

    Oct, 2020

  • EdgeConvFormer：多变量时序异常检测基于动态图卷积神经网络和 Transformer

    基于 Transformer 的 EdgeConvFormer 模型能够从多变量时间序列数据中学习空间 - 时间关联，并在不同尺度的真实世界数据集上实现比现有方法更好的异常检测性能。

    Dec, 2023

  • 自监督变压器用于稀疏和不规则采样的多元临床时间序列

    提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法的正确性。

    Jul, 2021

  • TACTiS: 用于时间序列的 Transformer-Attentional Copulas

    本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

    Feb, 2022