基于一步微调的时间序列 Transformer 的域自适应

AAAIJan, 2024

基于一步微调的时间序列 Transformer 的域自适应

Domain Adaptation for Time series Transformers using One-step fine-tuning

Subina Khanal, Seshu Tirupathi, Giulio Zizzo, Ambrish Rawat, Torben Bach Pedersen

TL;DR本文介绍了一种使用逐步解冻技术进行时间序列预测的预训练模型、有限数据目标域的逐步微调和源域数据的 “一步微调” 方法，通过实验证明该方法在室内温度和风力预测方面相较于其他方法有着 4.35% 和 11.54% 的性能提升。

Abstract

The recent breakthrough of transformers in deep learning has drawn significant attention of the time series community due to their ability to capture long-range dependencies. However, like other deep learning models, tr

transformers time series prediction catastrophic forgetting one-step fine-tuning gradual unfreezing

发现论文，激发创造

通过注意力共享进行时间序列预测的域自适应

提出了一种新颖的域适应预测框架（Domain Adaptation Forecaster，DAF），该框架利用统计上的优势，从具有大量数据样本的相关领域（源）汲取经验，从而提高目标领域（带有有限数据量的）的性能，实现了对源和目标域的联合培训，并展示了在各种领域上的出色表现。

Feb, 2021

深度学习下重新思考时间序列预测：一步前行两步退后

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

预训练网络的少样本领域适应

提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

May, 2022

基于 Transformer 的多源域自适应

研究了大型预训练转换模型在无监督多源域自适应中的效果，发现领域对抗性训练对其有影响，但对表现影响不大，同时混合专家方法则显著提高了表现并比较了几种混合函数，包括一种基于注意力的新混合方法。

Sep, 2020

低资源领域自适应的逐步微调

通过多阶段逐步微调的方式，不需要改变模型或学习目标，可以显著提高自然语言处理模型在目标领域的适应能力。

Mar, 2021

预训练语言模型用于电力时间序列预测

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

通用时间序列分析：利用预训练语言模型和特别设计的适配器

利用预训练模型并引入自定义适配器优化预训练的 transformer 模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。

Nov, 2023

领域自适应时间序列分类以减轻协变量漂移

本文提出一种新的基于监督学习的域适应技术，利用最优传输方法和嵌入相似性技术，从少量样本中搜索最优类别相关转换，并在推理中选择相应的转换，能够减小领域差异，并在多个包括模拟和手写数据集的领域漂移时间序列数据集上进行了广泛的评估。

Apr, 2022

面向上下文的领域适应方法用于时序异常检测

通过深度增强学习和上下文采样来建立时间序列领域自适应模型，以实现相似或不同领域之间的知识转移，并且在三个公开数据集上取得了良好的效果。

Apr, 2023

用于跨领域时间序列分析任务的大型预训练时间序列模型

将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

Nov, 2023