半监督端到端对比学习用于时间序列分类

Oct, 2023

半监督端到端对比学习用于时间序列分类

Semi-Supervised End-To-End Contrastive Learning For Time Series Classification

Huili Cai, Xiang Zhang, Xiaofeng Liu

TL;DR本文提出了一个称为 SLOTS（半监督学习用于时间分类）的端到端模型，该模型利用无标签样本和少量有标签样本来训练编码器和分类器，并使用无监督对比损失、有监督对比损失和分类损失来优化模型。通过与十种最先进的方法在五个数据集上的比较，实验结果表明 SLOTS 是一个简单而有效的框架，相较于两阶段的方法，SLOTS 在相似的计算成本下，能够以显著提升的性能使用相同的输入数据。

Abstract

time series classification is a critical task in various domains, such as finance, healthcare, and sensor data analysis. Unsupervised contrastive learning has garnered significant interest in learning effective representations from time series data with limited labels. The prevalent ap

time series classification unsupervised contrastive learning slots semi-supervised learning encoder and classifier

发现论文，激发创造

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

时间序列分类的排序监督对比学习

提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

Jan, 2024

在线半监督对比学习用于通用连续学习

该研究提出了一种适用于部分标记数据的对比损失函数 SemiCon，并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在 Split-CIFAR10 和 Split-CIFAR100 数据集上，与现有的半监督方法相比，我们的方法在可用很少的标签时效果更佳，只使用了 2.6％的标签和 10％的标签，就可以获得与最新的监督方法相似的结果。

Jul, 2022

TimesURL: 通用时间序列表示学习的自监督对比学习

学习能够适用于各种不同类型下游任务的通用时间序列表示是具有挑战性但有价值的，本研究提出了一种名为 TimesURL 的自监督框架，利用增强方法、负样本构建和损失设计来学习高质量的通用表示，并在 6 个不同的下游任务中达到最先进的性能。

Dec, 2023

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

对比学习的少样本分类

本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

Sep, 2022

图分类的对比自监督学习

本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。

Sep, 2020

一种用于时间序列的监督对比学习预训练 - 微调方法

引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

Nov, 2023

连锁原型对比学习

本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

ASR 的对比半监督学习

本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

Mar, 2021