自监督变压器用于稀疏和不规则采样的多元临床时间序列

Jul, 2021

自监督变压器用于稀疏和不规则采样的多元临床时间序列

Self-Supervised Transformer for Sparse and Irregularly Sampled Multivariate Clinical Time-Series

Sindhu Tipirneni, Chandan K. Reddy

TL;DR提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法的正确性。

Abstract

multivariate time-series data are frequently observed in critical care settings and are typically characterized by sparsity (missing information) and irregular time intervals. Existing approaches for learning representations in this domain handle these challenges by either aggregation

multivariate time-series data self-supervised transformer continuous value embedding limited availability of labeled data mortality prediction

发现论文，激发创造

时间序列作为图像：用于不规则采样时间序列的视觉 Transformer

本文旨在利用图像分类的方式，将不规则采样的时间序列转换为线图像，应用于医疗应用中的时间序列分类问题，大大简化了算法设计，同时在多个数据集上显示出良好的性能，特别是在具有挑战性的离散传感器设置中，绝对 F1 分数提高了 54.0％。

Mar, 2023

时间序列表示模型

我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

May, 2024

基于 Transformer 的多变量时间序列表示学习框架

本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

Oct, 2020

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

多维时序数据无监督可扩展表征学习

通过一种无监督方法，提出了在长度和标签稀疏性方面都很具有可扩展性的编码器，通过时间负采样的三元损失组合将其与基于因果膨胀卷积的编码器结合，用于生成变长时间序列的通用表示，表现出了良好的质量、可转移性和实用性。

Jan, 2019

一种基于自监督学习的方法用于聚类多变量时间序列数据中的缺失值 (SLAC-Time): 一种用于创伤性脑损伤表型化的应用

提供了一种名为 SLAC-Time 的自监督学习基于 Transformer 聚类多元时间序列数据的方法，该方法通过利用时间序列预测作为代理任务来学习更健壮的时间序列表示，并使用 K-means 进行聚类，实验表明，该方法在聚类 TBI 患者中表现优异，可以用于开发有针对性的临床试验和治疗策略。

Feb, 2023

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

不规则采样时间序列的学习：缺失数据视角

本文介绍一种基于变分自编码器和生成对抗网络的编码器 - 解码器框架，用于学习不规则采样的时间序列数据，提出了一种连续卷积层用于与现有神经网络体系结构高效对接。实验证明，该模型在不规则多元时间序列分类的结果上可以比最近的 RNN 模型表现得更好，同时具有显著更快的训练速度。

Aug, 2020

不规则采样时间序列的多时间注意力网络

本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

Jan, 2021