提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

时间序列分析与视觉或自然语言处理在定义有意义的自监督学习任务方面具有根本的区别。为了解决这个问题，我们引入了一种称为 Series2Vec 的自监督表示学习的创新方法，通过自监督任务在时间和频谱域中对两个序列之间的相似性进行预测，而不是基于手工数据增强的自监督方法。我们的实验证明，Series2Vec 在大规模真实世界数据集和 UCR/UEA 存档上的表现优于当前最先进的自监督技术，同时在有限标记数据集上具有高效性。此外，我们将 Series2Vec 与其他表示学习模型进行融合，可以提高时间序列分类的性能。

Dec, 2023

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

data2vec 是一个使用标准 Transformer 结构，在语音、NLP 或计算机视觉中使用相同的学习方法，能够成功预测全面输入数据的潜在表示的框架，通过用遮掩的输入数据进行自我蒸馏设置，该方法大大提高了音频识别、图像分类和文本理解等任务的性能。

Feb, 2022

无监督时间序列数据表示学习方法的文献综述及开放性研究挑战的综合分析，通过统一标准化库对其进行了实证评估，并讨论了实际考虑因素和未来研究方向。

Aug, 2023

在多个领域，数据采集和标注的成本和实际应用性限制了监督式学习范式。本文提出了一种使用自监督学习范式从多元时间序列中学习信息表示的方法，并表明该方法没有依赖标签数据就可以超越纯监督式方法在低数据情况下应用于临床相关任务（如睡眠评分）以及两个脑电波数据集，并捕获了重要的生理信息。

Nov, 2019

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

研究利用自监督学习扩展传统监督模型，以应对移动感知环境中许多传感器持续产生的大量数据和标注数据不足的挑战，通过一个未标注的时间序列数据集来抽取特征并预测带有标签的数据，研究结果表明在四种公共数据集上对于不同类型的传感器和应用，选择不同大小及来源的未标注数据会对最终的分类预测性能产生影响。

May, 2023

本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

Jun, 2023