Mar, 2024

基于自动对比学习策略的时间序列分析

PDF
TL;DR在本文中，我们提出了一种微软的自动机器学习（AutoML）实践，名为自动对比学习（AutoCL），它可以自动学习对各种时间序列数据集和任务进行对比学习表示。我们首先构建了一个覆盖数据增强、嵌入变换、对比对构建和对比损失的规范化的通用搜索空间，然后引入了一种高效的强化学习算法，用于从验证任务的性能中优化对比学习策略，以在搜索空间中获得更有效的策略。实验结果表明，AutoCL 能够自动找到适合给定数据集和任务的对比学习策略，并且我们还提供了实证分析作为未来对比学习策略设计的指导。
contrastive learningautomlrepresentation learningtime seriesautomated contrastive learning
发现论文，激发创造
  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • 序列推荐的对比学习

    提出了一种用于顺序推荐的对比学习多任务模型 CL4SRec，在传统的下一个项目预测任务的基础上，从原始用户行为序列中提取更有意义的用户模式，并进一步有效地编码用户表示，通过构建自我监督信号和数据增强等手段，来解决数据稀疏性和参数优化问题，并在四个公共数据集上实现了业界领先的性能。

    Oct, 2020

  • UniCL：大型时间序列模型的通用对比学习框架

    UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

    May, 2024

  • 谱时对比学习

    无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。

    Dec, 2023

  • 时间序列的软对比学习

    提出了一种针对时间序列的简单而有效的软对比学习策略 SoftCLT，通过引入实例级和时间级的对比损失，使用从零到一的软分配来改进学习表示的质量，实验证明 SoftCLT 在分类、半监督学习、迁移学习和异常检测等各种下游任务中提高了性能。

    Dec, 2023

  • 时间序列对比学习的参数增强

    通过分析时间序列数据增强使用信息理论，并总结最常采用的增强方法，我们提出了一种参数增强的对比学习框架 AutoTCL，它可以自适应地支持时间序列表示学习，无缝集成在不同的主干编码器中，实验证明在一元预测任务和分类任务中，我们的方法分别比领先的基准方法平均降低 6.5% 和 4.7% 的误差，并提高 1.2% 的平均准确率。

    Feb, 2024

  • 时间序列分类的排序监督对比学习

    提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

    Jan, 2024

  • 针对虚假阴性和类别不平衡的时间序列对比学习

    利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

    Dec, 2023

  • 具备理论保证的强健对比学习

    通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分，并进行适当实验证实我们的发现。

    Nov, 2023

  • CLOCS：跨时空和病人对心脏信号进行对比学习

    本文提出了一种基于对比学习的、能够生成患者特异性表征的 CLOCS 方法，可以通过少量标记数据实现强大的泛化性能。

    May, 2020