生成时间序列的系统评估及其在自监督预训练中的影响
本综述对时序预训练模型进行了全面回顾，介绍了典型的深度学习模型，总结了有监督、无监督和自监督时间序列预训练模型，分析了迁移学习策略、基于Transformer的模型和代表性TS-PTMs的优缺点，指出了未来的研究方向。
May, 2023
预训练和微调对于数据拟合不佳的模型能够帮助优化过程，但对于拟合较好的模型则没有这种效果；当给予足够的训练时间时，预训练不会表现出正则化的效果；预训练只能加速收敛，前提是模型具备足够的拟合能力；增加更多的预训练数据不能改善泛化能力，但可以增强预训练在原始数据量方面的优势，比如更快的收敛速度；预训练任务和模型结构两者都对于该范式在给定数据集上的效果起到作用，但模型结构的作用更加重要。
Sep, 2023
TEMPO是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过20%至60%的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。
Oct, 2023
时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于data2vec自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与UCR、UEA和ETT以及Electricity数据集上的最先进的自我监督学习方法相比的竞争力。
Nov, 2023
将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型LPTM来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了40％，训练时间减少了50％。
Nov, 2023
利用预训练模型并引入自定义适配器优化预训练的transformer模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。
Nov, 2023
时间序列分析与视觉或自然语言处理在定义有意义的自监督学习任务方面具有根本的区别。为了解决这个问题，我们引入了一种称为Series2Vec的自监督表示学习的创新方法，通过自监督任务在时间和频谱域中对两个序列之间的相似性进行预测，而不是基于手工数据增强的自监督方法。我们的实验证明，Series2Vec在大规模真实世界数据集和UCR/UEA存档上的表现优于当前最先进的自监督技术，同时在有限标记数据集上具有高效性。此外，我们将Series2Vec与其他表示学习模型进行融合，可以提高时间序列分类的性能。
Dec, 2023
自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明，可以从多个时间序列数据集中学习，对于低数据情况下的微调具有优势。
Feb, 2024
自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在https://github.com/DL4mHealth/SSL_Comparison发布。
Mar, 2024