Jun, 2022

基于时间 - 频率一致性的自监督对比预训练时序模型

PDF
TL;DR该论文提出了一种新的预训练方法，通过考虑时频一致性来适应不同时间动态的目标领域，并证明了该方法在多种实际应用场景下性能优于当前主流方法。
pre-trainingtime seriesdomain adaptationtime-frequency consistencyself-supervised learning
发现论文，激发创造
  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 一种新的双流时频对比预训练任务框架用于睡眠阶段分类

    利用自我监督学习解决了许多有监督方法所面临的大量注释数据的需求，本研究在时域和频域中引入了双流预训练任务架构，并在睡眠阶段分类任务中通过引入频率相似性预训练任务，成功地提高了任务精度，并得到了具有意义信息的学习嵌入表示。

    Dec, 2023

  • 多任务自监督时间序列表示学习

    本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

    Mar, 2023

  • 跨领域预训练的可迁移时间序列分类器学习

    通过 CrossTimeNet 提出一种新型的跨领域自监督学习框架，利用时间序列分词模块，从各个领域学习可转移的知识，并且以预训练语言模型作为编码器网络的初始化，取得优于以往工作的卓越性能。

    Mar, 2024

  • 团结共识，共著失败！基于同时在 75 个数据集上进行预训练的时间序列表示学习

    自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明，可以从多个时间序列数据集中学习，对于低数据情况下的微调具有优势。

    Feb, 2024

  • 合成时间序列预训练的数据高效睡眠分期

    通过预测随机生成的合成时间序列的频率内容的一种预训练任务，我们的实验表明，我们的方法在数据有限和受试者少的情况下超越完全监督学习，在有很多受试者的情况下与其性能相匹配。此外，我们的结果强调了频率信息对于睡眠阶段判定的相关性，并且还表明，深度神经网络利用除频率以外的信息来提高睡眠分期的准确性，这与以前的研究一致。我们预计我们的方法将在脑 - 机接口等 EEG 数据有限或来源于少数受试者的广泛应用领域中具有优势。

    Mar, 2024

  • 时间循环一致性学习

    本文提出了一种基于自我监督学习的视频时序对齐表征学习方法，其通过训练神经网络使用时间循环一致损失（TCC）来找到多个视频之间在时间上的对应关系，从而得到每一帧的表征，可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现，同时还可用于多种视频应用领域的数据同步和异常检测。

    Apr, 2019

  • 使用有监督对比时间转换器进行时间序列表示学习

    我们提出了一种称为 SCOTT 的简单而新颖的融合模型，用于学习标记时间序列数据的表示，通过合适的数据增强方法和 Transformer 与 Temporal Convolutional Networks 的组合，实现了全局和局部特征的高效学习，同时证明了 SCOTT 在时间序列分类和在线变点检测问题上的优越表现。

    Mar, 2024

  • 通过 Floss 的频域正则化方法提升周期时间序列的表示学习

    提出了一种称为 Floss 的无监督方法，通过自动在频率域中规范学习到的表示，用于捕捉时间序列中的周期性动态和改进深度学习模型。

    Aug, 2023

  • 频率增强的跨城少样本交通预测预训练

    我们提出了一种基于频率增强的预训练框架 FEPCross，用于跨城市少样本预测，通过引入时间和频率领域的信息进行自监督训练，以及设计模块来丰富训练样本并维护动量更新的图结构，从而降低过拟合风险和提高预测效果，实验证实了 FEPCross 在真实交通数据集上的卓越性能和促进跨城市少样本预测进展的特性。

    Jun, 2024