Mar, 2023

具有双向先验模型的矢量量化时间序列生成

PDF
TL;DR提出了一种名为 TimeVQVAE 的新模型，它使用矢量量化技术解决时间序列生成（TSG）问题，通过在时频域中分离出低频和高频来保留时间序列的重要特征，并使用双向转换模型学习离散潜在空间的先验知识，使其具有更好的全局时间一致性和更好的质量。
timevqvaevector quantizationtemporal consistencytime series generationbidirectional transformer
发现论文，激发创造
  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • 利用量化的细粒度 VAE 和自回归韵律先验生成多样且自然的文本语音样本

    本文提出了一种离散潜在空间的顺序先验方法，可以更自然地生成高度连续的语音，通过使用向量量化（VQ）对潜在特征进行离散化，并分别在结果上训练自回归（AR）先验模型，在听觉测试和自动语音识别（ASR）性能的客观指标方面，实验结果表明所提出的模型显著提高了随机样本生成的自然度，而且随机从所提出的模型中采样可以用作提高 ASR 性能的数据增强。

    Feb, 2020

  • 时序生成的条件 GAN

    本文提出了一种新型时序生成对抗网络 (Time Series GAN，TSGAN)，并以基准时序数据库中的 70 个数据集作为评估对象，证明了 TSGAN 相较竞争对手表现更好，既在 Frechet Inception Score (FID) 度量中表现更佳，也在分类评估标准上具有更好的定性表现。

    Jun, 2020

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • 改进 VQGAN 的向量量化图像建模

    使用预训练 Transformers 模型，结合 VQGAN 模型实现离散图像向量量化，进一步提高了图像生成和无监督表示学习的效率和准确性。同时，该模型还在 ImageNet 数据集上的线性探针准确性方面的表现优于同等规模的 Image GPT-L 和 Image GPT-XL 模型。

    Oct, 2021

  • 基于 Transformer 的条件生成对抗网络用于多元时间序列生成

    本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

    Oct, 2022

  • 利用掩码潜在生成建模的可解释异常检测

    我们提出了一种新颖的时间序列异常检测方法，具有优秀的检测准确性和较高的可解释性。我们的方法利用了被称为 TimeVQVAE 的领先时间序列生成方法中的掩蔽生成建模。先前模型在时频域的离散潜空间上进行训练，保留了时频域的维度语义，使我们能够计算不同频段的异常得分，从而更好地了解检测到的异常。此外，先前模型的生成性质允许对检测到的异常进行正常状态的采样，通过反事实推理来增强异常的可解释性。我们在 UCR Time Series Anomaly 存档上的实验评估表明，TimeVQVAE-AD 在检测准确性和可解释性方面明显超过了现有方法。

    Nov, 2023

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • VQ-AR: 向量量化自回归概率时间序列预测

    该论文介绍了一种新颖的自回归模型 VQ-AR，使用离散表示来预测未来，并在多个时间序列数据集上展示了其能够取得先进的性能。

    May, 2022

  • 状态空间模型的变分量化

    使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

    Apr, 2024