Jun, 2024

基于 Transformer 的时间序列合成综述

PDF
TL;DR在图像和语言领域，生成式人工智能已经引起了很大关注，使用转换器神经网络持续主导最新技术。然而，将这些模型应用于时间序列生成的研究尚不充分，而这对于机器学习、隐私保护和可解释性研究具有极大的实用价值。本综述通过识别转换器、生成式人工智能和时间序列数据这一稀缺研究子领域，回顾了已有的研究工作。回顾的工作方法多样，但尚未就该领域提出解决问题的确定答案。在最初进行的调查中，除了转换器之外，还遇到了 GANs、扩散模型、状态空间模型和自编码器。虽然该领域还没有提供确定性的洞见，但是已经回顾的工作具有很大的启发性，并提供了一些建议的最佳实践和有价值的未来工作建议。
发现论文，激发创造
  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022

  • GT-GAN: 通用时序生成对抗网络的时间序列合成

    设计了一种基于生成对抗网络的通用时序合成模型，能够在正常和不规则数据类型上表现出色，相比所有现有方法，我们的方法表现更佳。

    Oct, 2022

  • TTS-GAN: 基于 Transformer 的时间序列生成对抗网络

    介绍了一种基于 transformer 的生成对抗网络用于扩充时间序列的数据大小，实现了能够生成与真实数据序列类似的合成时间序列数据。

    Feb, 2022

  • 时序生成的条件 GAN

    本文提出了一种新型时序生成对抗网络 (Time Series GAN，TSGAN)，并以基准时序数据库中的 70 个数据集作为评估对象，证明了 TSGAN 相较竞争对手表现更好，既在 Frechet Inception Score (FID) 度量中表现更佳，也在分类评估标准上具有更好的定性表现。

    Jun, 2020

  • 生成智能的进展：GANs、GPT、自编码器、扩散模型和 Transformer 的综述

    ChatGPT 是生成人工智能领域的重要里程碑，引发了新一轮关于先进模型与任务的研究及创新，并带来了无数创新性工具和挑战。

    Nov, 2023

  • 为网络物理系统生成合成时间序列数据

    数据增强是时间序列领域深度学习应用中的重要驱动因素。研究文献中存在一个空白，即关于时间序列数据增强的主导模型 —— 变换器 —— 的探索非常有限。本文提出了一个将多个成功的先验进行结合的架构，并使用强大的时域相似性度量进行了测试。结果表明了该领域的挑战，以及未来工作的几个有价值的方向。

    Apr, 2024

  • 医疗健康中生成人工智能的综合评述

    人工智能的进展推动了医疗保健领域的革命性变化，其中包括生成式人工智能模型，特别是转换器和扩散模型的应用。本综述旨在全面介绍生成式人工智能在医疗保健中的应用，重点关注转换器和扩散模型，并提出未来研究的潜在方向，以应对医疗保健部门的现有限制和不断变化的需求。作为对对生成式人工智能在医疗保健领域应用感兴趣的研究人员和实践者的全面指南，本综述提供了有关当前技术水平、面临的挑战以及未来发展方向的宝贵见解。

    Oct, 2023

  • 基于 Transformer 的条件生成对抗网络用于多元时间序列生成

    本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

    Oct, 2022

  • 利用注意力和对抗训练的多变量时间序列表示学习

    本文提出了一种基于变压器自编码器的、使用对抗训练方案进行正则化的人工多变量时间序列信号生成方法，通过 t-SNE 可视化、动态时间扭曲（DTW）和熵评分对生成的信号进行评估，结果表明与卷积网络方法相比，生成的信号与示例数据集的相似性更高。

    Jan, 2024

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023