利用无标签数据和无需自定义数据生成机制的新方法检测时间序列数据中的周期性，克服了强数据增强可能导致的表示崩溃问题，并在三个时间序列任务中相对于现有学习方法表现出 45-50% 的性能提升。

Jun, 2024

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

本文提出了一种自监督学习方法用于学习一个通用的、具有信息的 PPG 表示，并将其用于活动和睡眠阶段的识别以及更普遍的健康状态预测，结果表明在标记数据稀缺时，使用 SSL 对于简单分类器的训练表现更好，同时也发现 SSL 的结果集中于编码受试者，因此对于标记数据不足的情况有一定局限性。

Dec, 2022

通过使用循环数据，本文提出了 CycleCL，一种特定设计用于周期性数据的自我监督学习方法。该方法利用预训练特征从同一个阶段近似采样一对帧以及不同阶段的负对帧，并通过优化特征编码器和重新采样三元组的方式来学习具备所提到的期望特性的特征。在工业和多个人类动作数据集上的评估表明，CycleCL 在所有任务中显著优于以往的基于视频的自我监督学习方法。

Nov, 2023

本文综合评估了当前时序数据自监督学习方法的状况，并提供了相应的分类法，同时总结了常用数据集且给出了未来时序分析自监督学习的方向。

Jun, 2023

本研究中，我们利用自监督学习范式 (SSL) 来学习未标记数据的深层次特征表达，提出了一种用于人类活动识别的动态时间规整 (DTW) 算法，强制特征在时间维度上对齐。我们的实验结果显示，该方法对于单一模态和多模态的情况均具有学习稳健特征表达的潜力，并在半监督学习中明显优于监督模型。

Oct, 2022

自我监督学习在临床时间序列数据中的应用引起了广泛关注，本文提出了一种新的自我监督学习方法 —— 顺序多维自我监督学习 (Sequential Multi-Dimensional SSL)，在序列的整体和个体高维数据点级别上应用自我监督损失以更好地捕捉两个尺度上的信息。实验证明，使用本方法进行预训练并在后续任务中微调可以提高性能，并在不同自我监督损失函数中取得改进。

Jul, 2023

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

应用对比自监督学习方法，以及音频增强技术，通过学习泛化的心音图信号表示，检测心音图样本中的异常情况，并在多个数据集上进行了广泛的评估，证实了对比自监督学习方法可以提供具有鲁棒性的分类器，能够在未见过的数据上进行泛化，而无需专家进行耗时耗力的注释过程。

Dec, 2023