Denoising diffusion probabilistic models (DDPMs) are becoming the leading paradigm for generative models. In this paper, we propose Diffusion-TS, a novel diffusion-based framework that generates high-quality multivariate time series samples using an encoder-decoder transformer with disentangled temporal representations, aiming to satisfy both interpretability and realness.

Mar, 2024

探索了无特定任务条件下以时间序列为基础的扩散模型，通过自我引导机制，在推理过程中对 TSDiff 进行条件处理，并且不需要辅助网络或改变训练程序。展示了方法在预测、细化和合成数据生成三个时间序列任务中的有效性。

Jul, 2023

该研究论文介绍了 TS-Diffusion，一个通用模型，适用于处理具有采样不规则性、缺失值和大型特征 - 时间维度等复杂性的时间序列，通过分析、学习和生成时间序列的表示，该模型在传统和复杂时间序列的任务上表现出色，显著优于之前的基准模型。

Nov, 2023

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023

我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

May, 2024

该研究介绍了一种使用自我监督学习嵌入条件的扩散模型来生成高质量的病理学和卫星图像的方法。通过从自我监督学习表示中提取嵌入，可以生成大型图像，并通过生成变化的真实图像加强下游分类器的准确性。此方法在训练过程中表现出鲁棒性和普遍性，对于不同数据集的图像生成同样有效。

Dec, 2023

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

Mar, 2024

本文综合评估了当前时序数据自监督学习方法的状况，并提供了相应的分类法，同时总结了常用数据集且给出了未来时序分析自监督学习的方向。

Jun, 2023

SSSD 是一种基于扩散模型和状态空间模型的缺失值插补模型，适合用于时间序列数据，它在各种数据集上的表现均超过了目前已有的概率插补方法。

Aug, 2022

TimeDRL 是一个通用的多变量时间序列表示学习框架，通过解耦的双层嵌入技术，利用预测和对比损失来学习时间戳级别和实例级别的嵌入，避免了数据增强方法引起的归纳偏差，并在多个实验中表现出优于现有方法的性能。

Dec, 2023