自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

在本文中，我们提出了一种微软的自动机器学习（AutoML）实践，名为自动对比学习（AutoCL），它可以自动学习对各种时间序列数据集和任务进行对比学习表示。我们首先构建了一个覆盖数据增强、嵌入变换、对比对构建和对比损失的规范化的通用搜索空间，然后引入了一种高效的强化学习算法，用于从验证任务的性能中优化对比学习策略，以在搜索空间中获得更有效的策略。实验结果表明，AutoCL 能够自动找到适合给定数据集和任务的对比学习策略，并且我们还提供了实证分析作为未来对比学习策略设计的指导。

Mar, 2024

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

Jun, 2023

无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。

Dec, 2023

本文探讨了无监督自学习对偶损失模型（SSCL）的理论基础，提出了在随机邻居嵌入（SNE）视角下，使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化，通过与 SNE 对应，进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势，同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。

May, 2022

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

Jan, 2024

利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

Dec, 2023

本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

Feb, 2022