TimesURL: 通用时间序列表示学习的自监督对比学习

AAAIDec, 2023

TimesURL: 通用时间序列表示学习的自监督对比学习

TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

Jiexi Liu, Songcan Chen

TL;DR学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Abstract

Learning universal time series representations applicable to various types of downstream tasks is challenging but valuable in real applications. Recently, researchers have attempted to leverage the success of self-supervised contrastive learning (SSCL) in Computer Vision(CV) and Natura

universal time series representations self-supervised contrastive learning augmentation methods negative pair construction timesurl

发现论文，激发创造

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

TimeCSL：无监督对比学习用于可探索时序分析的通用形态片段

通过无监督对比学习来学习通用形状基于的表示，该方法在时间序列分类、聚类和异常检测等分析任务中表现出优越的性能，并通过 TimeCSL 系统使用户能够通过统一的流程解决不同的分析任务和探索学习到的形状基于的表示来获得对时间序列的洞察。

Apr, 2024

时间序列预测中构成良好对比学习的因素是什么？

本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

Jun, 2023

对比形态片段学习用于无监督多元时间序列表示学习

本文提出了一种利用基于形状的表示学习在无监督的多变量时间序列领域中的框架，其中采用了流行的对比学习方式来学习时间序列特定的形状特征，并设计了新的多粒度对比和多尺度对齐的学习目标来实现我们的目标，同时采用数据增强库来提高泛化性能。实验结果表明，我们的方法不仅优于 URL 竞争对手，而且优于专门为下游任务设计的技术。

May, 2023

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

针对虚假阴性和类别不平衡的时间序列对比学习

利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

Dec, 2023

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

UniCL：大型时间序列模型的通用对比学习框架

UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

May, 2024

时间序列的自监督学习：对比或生成？

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

谱时对比学习

无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。

Dec, 2023