本文介绍了 TS2Vec，它是一种用于在任意语义级别学习时间序列表示的通用框架。通过对增强的上下文视图进行分层对比学习，TS2Vec 能够为每个时间戳提供强大的上下文表示，并通过简单的聚合来获得时间序列任意子序列的表示，通过实验评估表明，TS2Vec 在时间序列分类、时间序列预测和异常检测任务中具有良好的性能。

Jun, 2021

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

data2vec 是一个使用标准 Transformer 结构，在语音、NLP 或计算机视觉中使用相同的学习方法，能够成功预测全面输入数据的潜在表示的框架，通过用遮掩的输入数据进行自我蒸馏设置，该方法大大提高了音频识别、图像分类和文本理解等任务的性能。

Feb, 2022

该研究提出了一种无监督的临床试验检索方法（Trial2Vec），通过学习自监督，自动学习临床试验的嵌入表示，并在试验检索和试验结果预测任务中取得了较好的效果。

Jun, 2022

通过一种无监督方法，提出了在长度和标签稀疏性方面都很具有可扩展性的编码器，通过时间负采样的三元损失组合将其与基于因果膨胀卷积的编码器结合，用于生成变长时间序列的通用表示，表现出了良好的质量、可转移性和实用性。

Jan, 2019

本文提出一种基于向量的时间表示模型 Time2Vec，具有模型无关特性，可以被轻松地导入到现有和未来的架构中，以提高模型性能。通过在多个模型和问题中的实验证明，将时间概念替换为其 Time2Vec 表示可以提高最终模型的性能。

Jul, 2019

本文提出 data2vec 2.0 算法，通过利用丰富的上下文目标表示，实现了在几个模态之间进行泛化的快速自监督学习，进而在图像分类、语音识别等领域取得了很好的实验效果。

Dec, 2022

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

DyG2Vec 是一种适用于动态图的自监督学习方法，利用窗口机制生成任务不可知的节点嵌入来预测未来的交互，并在标准数据集上显著优于现有的状态 - of-the-art 方法，并且只需要部分训练 / 推理时间，适用于少量标签的场景。

Oct, 2022

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023