使用有监督对比时间转换器进行时间序列表示学习

Mar, 2024

使用有监督对比时间转换器进行时间序列表示学习

Time Series Representation Learning with Supervised Contrastive Temporal Transformer

Yuansan Liu, Sudanthi Wijewickrema, Christofer Bester, Stephen O'Leary, James Bailey

TL;DR我们提出了一种称为 SCOTT 的简单而新颖的融合模型，用于学习标记时间序列数据的表示，通过合适的数据增强方法和 Transformer 与 Temporal Convolutional Networks 的组合，实现了全局和局部特征的高效学习，同时证明了 SCOTT 在时间序列分类和在线变点检测问题上的优越表现。

Abstract

Finding effective representations for time series data is a useful but challenging task. Several works utilize self-supervised or unsupervised learning methods to address this. However, there still remains the open question of how to leverage available label information for better repr

time series data self-supervised learning representation learning supervised contrastive loss time series classification

发现论文，激发创造

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

时间序列表示学习：基于时间和上下文对比的方法

本文提出了一种通过时间和语境对比（TS-TCC）的无监督时间序列表示学习框架，该框架可从未标记数据中学习时间序列表示，其中包括弱和强扩充转换的两个不同但相关的视图，并提出了一种新的时间对比模块和一个上下文对比模块来学习稳健的时间表示和判别性表示。

Jun, 2021

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

时间序列预测中构成良好对比学习的因素是什么？

本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

Jun, 2023

TimesURL: 通用时间序列表示学习的自监督对比学习

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

视频 Transformer 的长短时对比学习

本文提出了一种叫做 “长短时对比学习（LSTCL）” 的学习程序，可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时，学习一个有效的剪辑级表示，并在多项视频基准测试上取得了有竞争力的表现，成为有监督基于图像的预训练的有力替代方案。

Jun, 2021

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

时间信息能帮助对比自监督学习吗？

本篇论文提出了 Temporal-aware Contrastive self-supervised learning （TaCo）的方法，该方法通过选择一组强大的时态变换，不仅作为数据强化，还作为额外的自我监督来构成视频理解的重要组成部分，从而可以提高无监督视频表示学习，大幅改善了下游分类任务的成果。

Nov, 2020

TCLR: 视频表征的时序对比学习

本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

Jan, 2021

时间序列对比学习的参数增强

通过分析时间序列数据增强使用信息理论，并总结最常采用的增强方法，我们提出了一种参数增强的对比学习框架 AutoTCL，它可以自适应地支持时间序列表示学习，无缝集成在不同的主干编码器中，实验证明在一元预测任务和分类任务中，我们的方法分别比领先的基准方法平均降低 6.5% 和 4.7% 的误差，并提高 1.2% 的平均准确率。

Feb, 2024