针对虚假阴性和类别不平衡的时间序列对比学习

Dec, 2023

针对虚假阴性和类别不平衡的时间序列对比学习

Time-Series Contrastive Learning against False Negatives and Class Imbalance

Xiyuan Jin, Jing Wang, Lei Liu, Youfang Lin

TL;DR利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

Abstract

As an exemplary self-supervised approach for representation learning, time-series contrastive learning has exhibited remarkable advancements in contemporary research. While recent contrastive learning strategies have focused on how to construct appropriate positives and negatives, in t

time-series contrastive learning false negatives class imbalance simclr framework semi-supervised consistency classification

发现论文，激发创造

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

对比学习的增量式虚假负例检测

本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

Jun, 2021

利用假阴性消除增强对比自监督学习

提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

Nov, 2020

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

TimesURL: 通用时间序列表示学习的自监督对比学习

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

时间序列预测中构成良好对比学习的因素是什么？

本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

Jun, 2023

无偏监督对比学习

本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

Nov, 2022

无监督句子表示的去偏置对比学习

该研究提出了一种名为 DCLR 的新框架，使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。

May, 2022

基于对比学习的混合网络用于长尾图像分类

本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

Mar, 2021

时间序列分类的排序监督对比学习

提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

Jan, 2024