CaSS：面向多元时间序列分类的通道感知自监督表示学习框架

Mar, 2022

CaSS：面向多元时间序列分类的通道感知自监督表示学习框架

CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification

Yijiang Chen, Xiangdong Zhou, Zhen Xing, Zhidan Liu, Minyang Xu

TL;DR本文提出了一种统一的通道感知自监督学习框架（CaSS），通过设计一个新的基于 Transformer 的编码器（CaT）来捕捉 MTS 不同时间通道之间的复杂关系，并结合 Next Trend Prediction（NTP）和 Contextual Similarity（CS）两种新颖的预训练任务来实现自监督学习的表示学习，实验结果表明，与以前的自监督 MTS 表示学习方法相比，我们的框架在几个常用的基准数据集上均达到了新的最优成果（LSST 数据集上提高了 7.70％），并可很好地应用于下游 MTS 分类。

Abstract

Self-supervised representation learning of multivariate time series (MTS) is a challenging task and attracts increasing research interests in recent years. Many previous works focus on the pretext task of

self-supervised learning multivariate time series encoder pretext task channel-aware self-supervised learning

发现论文，激发创造

MTSMAE: 基于掩码的自编码器用于多元时间序列预测

该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

Oct, 2022

多视角自监督学习用于多变量多通道时间序列

通过在多通道生物医学时间序列数据上进行自我监督对比学习，使用消息传递神经网络提取跨通道的单一表示，并结合 TS2Vec 损失函数，我们的方法在大多数设置中优于其他方法。

Jul, 2023

学习结构组件：面向模块化可解释的多元时间序列预测

本文提出了一种模块化和可解释的预测框架 SCNN，可以分离时间序列数据中的结构和异构组成部分，并分别预测其演变。在三个实际数据集上的实验证明了 SCNN 可以胜过现有模型并具有更好的可追溯性和可预测性。

May, 2023

跨体系结构自监督下的高效医疗表示学习

在医疗和生物医学应用中，极端的计算要求对采用表示学习构成了重大障碍。本研究提出了一种名为 CASS（Cross Architectural - Self Supervision）的创新孪生自监督学习方法，通过协同使用 Transformer 和卷积神经网络（CNN）进行高效学习，从而克服了现有自监督学习方法在临床实验环境中使用较小批量大小或较短预训练周期时性能降低的问题，并且在四个多样化的医疗数据集上优于现有方法。实验证明，CASS 训练的 CNN 和 Transformer 在仅有 1% 标记数据用于微调时平均性能提高了 3.8%，在 10% 标记数据下提高了 5.9%，而在 100% 标记数据下提高了惊人的 10.13%。值得注意的是，CASS 相比现有最先进方法减少了预训练时间 69%，更适合临床实施，并且 CASS 对批量大小和预训练周期的变化更为稳健，使其成为医疗应用中的机器学习的合适选择。

Aug, 2023

图形背景对比多元时间序列分类

我们提出了一种名为 Graph Contextual Contrasting (GCC) 的方法，用于确保多元时间序列数据中的空间一致性和时间一致性，并在各种 MTS 分类任务中取得了最先进的性能。

Sep, 2023

时间序列的自学习特征提取

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

多任务自监督时间序列表示学习

本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

Mar, 2023

CASS: 跨结构自监督用于医学图像分析

本论文介绍 Cross Architectural - Self Supervision (CASS), 一种同时利用 Transformer 和 CNN 的新型自我监督学习方法。实验证明，与现有自我监督学习方法相比，CASS 训练的 CNN 和 Transformer 在四个不同的数据集上提高了平均 3.8%（有 1% 的标注数据），5.9%（有 10% 的标注数据）和 10.13%（有 100% 的标注数据），同时花费了少达 69％的时间。同时，CASS 对批量大小和训练时期的改变更具有鲁棒性。

Jun, 2022

混合对比学习：时序的自监督表示学习

提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

Mar, 2022

MTS2Graph: 具有时间演化图的可解释性多变量时间序列分类

本文介绍了一种新的框架，通过提取和聚类高度激活 CNN 神经元的输入表征模式来解释多元时间序列数据，以捕获输入信号的作用和依赖关系，并构建一个捕获每层提取模式的时间关系的图形，最后使用图形嵌入算法生成可解释的时间序列特征表示。通过在 8 个 UCR/UEA 归档数据集以及 HAR 和 PAM 数据集上运行广泛的实验，证明了我们的时间感知基于图形的表征在 MTS 分类中具有明显优势，并丰富了它们的可解释性。

Jun, 2023