混合对比学习：时序的自监督表示学习

Mar, 2022

混合对比学习：时序的自监督表示学习

Mixing Up Contrastive Learning: Self-Supervised Representation Learning for Time Series

Kristoffer Wickstrøm, Michael Kampffmeyer, Karl Øyvind Mikalsen, Robert Jenssen

TL;DR提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Abstract

The lack of labeled data is a key challenge for learning useful representation from time series data. However, an unsupervised representation framework that is capable of producing high quality representations could be of great value. It is key to enabling transfer learning, which is e

unsupervised representation framework contrastive learning label smoothing data augmentation scheme transfer learning

发现论文，激发创造

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

时间序列的自监督学习：对比或生成？

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

时间序列的无监督表示学习综述

无监督时间序列数据表示学习方法的文献综述及开放性研究挑战的综合分析，通过统一标准化库对其进行了实证评估，并讨论了实际考虑因素和未来研究方向。

Aug, 2023

自监督学习中的对比神经过程

本文提出了一种新的自监督学习框架，将对比学习与神经过程相结合，用于时间序列预测，实现数据的增强和避免手动设计数据增广，利用我们的方法训练的 ResNet 和线性分类器在工业、医疗和音频数据集上表现良好，精度提高 10％以上。此外，我们证明了我们的自监督表示在潜空间中更有效，改善了多个聚类指标，同时微调 10％的标签可达到与全监督学习相竞争的结果。

Oct, 2021

TimesURL: 通用时间序列表示学习的自监督对比学习

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

对比学习，多视角冗余和线性模型

本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

Aug, 2020

通过无监督时间序列表示学习提高临床预测

本研究探讨了无监督表示学习在医学时间序列上的应用，结果表明无监督表示学习可以优于端到端监督体系结构，使用序列到序列模型 (Sequence-to-Sequence, Seq2Seq) 的效果最佳，通过第一次在无监督学习的医学时间序列中使用集成注意力机制，实现了预测性 Seq2Seq 模型的最佳表现。

Dec, 2018

针对虚假阴性和类别不平衡的时间序列对比学习

利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

Dec, 2023

自监督表征学习框架在远程生理测量中利用时空增强损失

本文提出了一种基于自监督的时空学习框架，用于表示从面部视频中收集的生理信号，通过应用特定的数据增强模型以及约束时空损失，可以取得比其他自监督方法更好的结果，并且与最先进的有监督方法具有相当的精度。

Jul, 2021