Mar, 2024

跨领域预训练的可迁移时间序列分类器学习

PDF
TL;DR通过 CrossTimeNet 提出一种新型的跨领域自监督学习框架，利用时间序列分词模块，从各个领域学习可转移的知识，并且以预训练语言模型作为编码器网络的初始化，取得优于以往工作的卓越性能。
self-supervised pre-trainingtime series representationscross-domain ssl pre-trainingtime series tokenization modulecross-domain pre-training
发现论文，激发创造
  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

    Nov, 2023

  • 视觉域适应的可转移对比学习

    本文提出了一种自我监督学习方法，即可转移对比学习（TCL），其将 SSL 和所需的跨域可转移性紧密地联系起来，并通过特定的内存库和伪标签战略对源和目标之间的跨域内部类域差异进行惩罚

    Dec, 2021

  • 半监督学习遇上迁移学习：训练策略、模型和数据集

    本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。

    Dec, 2018

  • UniTime：跨领域时序预测的语言增强统一模型

    提出了 UniTime 模型以解决跨领域时间序列学习中的挑战，通过灵活适应不同特征的数据、使用领域指令和语言 - 时间序列转换器来对齐模态，以及利用屏蔽来缓解领域收敛速度不平衡问题，从而大幅提升最先进的预测性能和零样本可迁移性。

    Oct, 2023

  • 基于时间 - 频率一致性的自监督对比预训练时序模型

    该论文提出了一种新的预训练方法，通过考虑时频一致性来适应不同时间动态的目标领域，并证明了该方法在多种实际应用场景下性能优于当前主流方法。

    Jun, 2022

  • 时序分析的自监督学习：分类、进展和前景

    本文综合评估了当前时序数据自监督学习方法的状况，并提供了相应的分类法，同时总结了常用数据集且给出了未来时序分析自监督学习的方向。

    Jun, 2023

  • 多模态语言建模推进时间序列分类

    通过使用预训练语言模型，本研究提出了 InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

    Mar, 2024

  • 基于一步微调的时间序列 Transformer 的域自适应

    本文介绍了一种使用逐步解冻技术进行时间序列预测的预训练模型、有限数据目标域的逐步微调和源域数据的 “一步微调” 方法，通过实验证明该方法在室内温度和风力预测方面相较于其他方法有着 4.35% 和 11.54% 的性能提升。

    Jan, 2024

  • 预训练语言模型用于电力时间序列预测

    通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

    Feb, 2023

  • 通用时间序列分析：利用预训练语言模型和特别设计的适配器

    利用预训练模型并引入自定义适配器优化预训练的 transformer 模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。

    Nov, 2023