本研究结合时间序列建模和度量学习，使用连锁循环神经网络（SRNs）学习相似度度量，具有很强的相似度预测能力，尤其在少样本学习场景下表现优异，可用于识别任务，如签名、语音和手语识别等。

Mar, 2016

TimeNet是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用TimeNet特征提取器训练的分类器能够显著提高分类效果。

Jun, 2017

本文提出了一种通过时间和语境对比（TS-TCC）的无监督时间序列表示学习框架，该框架可从未标记数据中学习时间序列表示，其中包括弱和强扩充转换的两个不同但相关的视图，并提出了一种新的时间对比模块和一个上下文对比模块来学习稳健的时间表示和判别性表示。

Jun, 2021

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型LPTM来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了40％，训练时间减少了50％。

Nov, 2023

时间序列分析与视觉或自然语言处理在定义有意义的自监督学习任务方面具有根本的区别。为了解决这个问题，我们引入了一种称为Series2Vec的自监督表示学习的创新方法，通过自监督任务在时间和频谱域中对两个序列之间的相似性进行预测，而不是基于手工数据增强的自监督方法。我们的实验证明，Series2Vec在大规模真实世界数据集和UCR/UEA存档上的表现优于当前最先进的自监督技术，同时在有限标记数据集上具有高效性。此外，我们将Series2Vec与其他表示学习模型进行融合，可以提高时间序列分类的性能。

Dec, 2023

TimeDRL是一个通用的多变量时间序列表示学习框架，通过解耦的双层嵌入技术，利用预测和对比损失来学习时间戳级别和实例级别的嵌入，避免了数据增强方法引起的归纳偏差，并在多个实验中表现出优于现有方法的性能。

Dec, 2023

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为TimesURL的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在6个不同的下游任务中达到最先进的性能。

Dec, 2023

自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明，可以从多个时间序列数据集中学习，对于低数据情况下的微调具有优势。

Feb, 2024

本研究解决了传统变换器在时间序列预测中对位置嵌入的依赖，限制了其对时间序列的有效表示，尤其是较长回顾窗口的情况。通过将金字塔递归神经网络嵌入（PRE）与多变量依赖建模的能力结合，提出的PRformer模型在多个实际数据集上展现了显著的性能提升，强调了时间序列表示的关键作用。

Aug, 2024