本文介绍了扩散模型领域的现状，并提出了改进现有问题的技术，包括模型速度提升、数据结构多样化、可能性优化和维数减少等。此外，还介绍了扩散模型的应用，包括计算机视觉、序列建模、音频和科学人工智能。

Sep, 2022

该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器-解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

Dec, 2022

本篇综述着重探讨了基于扩散模型的时间序列预测、插补和生成方法，并比较了不同应用的方法及其联系，最后总结了现有的限制与未来的发展方向。

May, 2023

TEMPO是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过20%至60%的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

提出了一种名为“Time-Transformer AAE”的新型时间序列生成模型，该模型能够有效地学习时间序列数据的局部和全局特性，并具有数据增强的能力来支持使用小型和不平衡的数据集进行学习。

Dec, 2023

Denoising diffusion probabilistic models (DDPMs) are becoming the leading paradigm for generative models. In this paper, we propose Diffusion-TS, a novel diffusion-based framework that generates high-quality multivariate time series samples using an encoder-decoder transformer with disentangled temporal representations, aiming to satisfy both interpretability and realness.

Mar, 2024

在图像和语言领域，生成式人工智能已经引起了很大关注，使用转换器神经网络持续主导最新技术。然而，将这些模型应用于时间序列生成的研究尚不充分，而这对于机器学习、隐私保护和可解释性研究具有极大的实用价值。本综述通过识别转换器、生成式人工智能和时间序列数据这一稀缺研究子领域，回顾了已有的研究工作。回顾的工作方法多样，但尚未就该领域提出解决问题的确定答案。在最初进行的调查中，除了转换器之外，还遇到了GANs、扩散模型、状态空间模型和自编码器。虽然该领域还没有提供确定性的洞见，但是已经回顾的工作具有很大的启发性，并提供了一些建议的最佳实践和有价值的未来工作建议。

Jun, 2024

通过结合变分自动编码器（VAE）和去噪扩散概率模型（DDPM）的思想，我们提出了一种名为TimeAutoDiff的模型，用于生成时间序列表格数据。该模型能够处理各种类型的时间序列表格数据，具有良好的保真度和实用性，并且在生成速度上有显著改进；此外，它还实现了对具有异构特征的多序列时间序列表格数据的有条件生成。

Jun, 2024

本研究针对现有时间序列基础模型在处理真实世界数据时的局限，提出了TimeDiT，采用去噪扩散范式来取代时间自回归生成，解决了多分辨率数据的变通道大小、缺失值及信号采样间隔不均等挑战。实验表明，TimeDiT在预测、填补缺失值和异常检测等多种任务上表现优异，具有广泛的应用潜力。

Sep, 2024