Nov, 2023

寻找用于时间序列分类的基础模型与预训练任务

PDF
TL;DR该研究旨在解决时间序列分类中的过拟合问题，通过引入预训练的领域基础模型，并使用一种新颖的预训练任务，该任务可跨多个数据集，以产生可应用于不同数据集的灵活卷积滤波器。实验证明，该预训练策略显著优于传统的无预训练方法，并在小数据集上有效减少过拟合，为深度学习在时间序列分类中的应用提供了更高的性能。
time series classificationconvolutional neural networkspre-trained domain foundation modelsoverfittingucr archive
发现论文，激发创造
  • 面向时间序列数据的基础模型

    本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

    Oct, 2023

  • 时间序列分类的迁移学习

    本文探讨了如何将深度卷积神经网络用于时间序列分类任务，并提出了一种新的动态时间规整方法来指导迁移学习中的源数据集选择，结果表明迁移学习可以提高模型的准确性。

    Nov, 2018

  • 时间序列分类的深度学习综述

    本文通过一个基于深度神经网络结构的实证研究，介绍最新的深度学习算法在时间序列分类方面的最新状态，以及给出了一个自由开放的深度学习框架，并在 97 个时间序列数据集上进行了 8,730 种模型的训练来达到最全面的时间序列分类问题的深度学习算法的研究。

    Sep, 2018

  • ConvTimeNet：一个预训练的、深度卷积神经网络用于时序分类

    该研究提出了一种基于深度卷积神经网络的预训练模型 ConvTimeNet（CTN），并通过对多个时间序列分类数据集进行训练和测试，证明了其在新任务上的可迁移性和高效性。

    Apr, 2019

  • 时间序列分类的多尺度卷积神经网络

    提出了一种基于多尺度卷积神经网络的时间序列分类模型，该模型将特征提取和分类集成在一个框架中，具有较高的准确性和计算效率，并在大量基准数据集上进行了全面的实证评估，取得了优于其他先进方法的性能。

    Mar, 2016

  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 使用深度神经网络从头开始进行时间序列分类：一个强大的基准

    提出了用深度神经网络从头开始进行时间序列分类的简单但强大的基准线。通过提出的全卷积网络（FCN）和 ResNet 结构的非常深层神经网络的探索，实现了优越的性能。我们卷积模型中的全局平均池化即可利用类激活映射（CAM）来查找特定标签的原始数据中的贡献区域，为现实世界的应用提供了简单的选择和未来研究的良好起点，同时提供了总体分析来讨论我们的模型，学习特征，网络结构和分类语义的泛化能力。

    Nov, 2016

  • 面向相似度感知的时间序列分类

    提出了 Similarity-Aware Time-Series Classification (SimTSC) 框架，使用图神经网络建模时间序列的相似度信息，并结合深度学习模型实现时序分类。使用 ResNet 作为主干网络和 Dynamic Time Warping 作为相似度度量，在多个数据集上进行了广泛的实验，证明了该方法的有效性。

    Jan, 2022

  • 拥抱黑箱：走向基于时间序列数据的因果发现基础模型

    Causal Pretraining explores supervised learning to discover causal relationships from time series data, demonstrating that performance increases with data and model size and suggesting the potential for a foundation model for causal discovery.

    Feb, 2024

  • 深度学习和基础模型在时间序列预测中的调查

    深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

    Jan, 2024