Jan, 2024

时间序列分类的排序监督对比学习

PDF
TL;DR提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。
contrastive learningtime series classificationrank supervised contrastive learningdata augmentationrank loss
发现论文，激发创造
  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • 我们是否真的需要用于图表示的对比学习？

    对比学习在图学习领域吸引了大量研究兴趣，现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量，但这样会引入虚假的负样本，同时增加了计算负担和时间复杂度，为解决这些问题，提出了一种简单而有效的模型 GraphRank，通过引入基于排名的学习来测量相似度得分，成功地缓解了虚假负样本问题，并将时间复杂度从 O (N^2) 降低到 O (N)，并在多个图任务上展开了广泛实验，证明 GraphRank 在各种任务中表现优异。

    Oct, 2023

  • 使用监督对比学习学习标签层次

    我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。

    Jan, 2024

  • 多任务自监督时间序列表示学习

    本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

    Mar, 2023

  • 半监督端到端对比学习用于时间序列分类

    本文提出了一个称为 SLOTS（半监督学习用于时间分类）的端到端模型，该模型利用无标签样本和少量有标签样本来训练编码器和分类器，并使用无监督对比损失、有监督对比损失和分类损失来优化模型。通过与十种最先进的方法在五个数据集上的比较，实验结果表明 SLOTS 是一个简单而有效的框架，相较于两阶段的方法，SLOTS 在相似的计算成本下，能够以显著提升的性能使用相同的输入数据。

    Oct, 2023

  • 针对虚假阴性和类别不平衡的时间序列对比学习

    利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

    Dec, 2023

  • 基于自动对比学习策略的时间序列分析

    在本文中，我们提出了一种微软的自动机器学习（AutoML）实践，名为自动对比学习（AutoCL），它可以自动学习对各种时间序列数据集和任务进行对比学习表示。我们首先构建了一个覆盖数据增强、嵌入变换、对比对构建和对比损失的规范化的通用搜索空间，然后引入了一种高效的强化学习算法，用于从验证任务的性能中优化对比学习策略，以在搜索空间中获得更有效的策略。实验结果表明，AutoCL 能够自动找到适合给定数据集和任务的对比学习策略，并且我们还提供了实证分析作为未来对比学习策略设计的指导。

    Mar, 2024

  • 混合对比学习：时序的自监督表示学习

    提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

    Mar, 2022

  • TimesURL: 通用时间序列表示学习的自监督对比学习

    学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

    Dec, 2023