May, 2024

时间序列潜在扩散的后稳定性研究

PDF
TL;DR我们分析了隐式扩散在时间序列应用中可能出现的后验坍塌问题，提出了依赖度量的概念，证明了扩散模型中的潜变量在这种情况下失去了对生成过程的控制，并对后验坍塌的原因进行了分析。基于这一分析，我们提出了一个新的框架，解决了这个问题并支持更具表达力的先验分布。我们在各种真实世界的时间序列数据集上进行实验证明，我们的新模型保持了稳定的后验分布，在时间序列生成方面优于基准模型。
latent diffusionposterior collapsedependency measuresprior distributiontime series generation
发现论文，激发创造
  • 论序列 VAE 中后验崩溃和编码器特征分散

    论文提出通过 pooling 来增加编码器特征的差异性，以防止 Variational autoencoders 中 posterior collapse 现象的出现，从而在数据对数似然方面取得了显著提高。

    Nov, 2019

  • 使用 delta-VAEs 预防后向崩溃

    针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

    Jan, 2019

  • 线性条件和分层变分自编码器中的后验坍塌

    该论文通过对条件 VAEs 和层级 VAEs 进行理论分析，证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响，并在实验中验证了理论结果。

    Jun, 2023

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 具有潜态扩散的生成模型采样与推断的理论保证

    本文介绍和研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观察变量是在扩散的终端点条件下绘制的。 通过随机控制的视角，我们为这种生成模型的采样和变分推断提供了统一的观点，并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案，并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。

    Mar, 2019

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 使用生成式跳跃模型避免潜变量坍塌

    本篇论文提出了一种新的方法，通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题，研究表明，在保持预测性能的同时，相比现有的 VAE 体系结构，生成跳跃模型具有更少的崩溃现象，并提供更有意义的数据表示。

    Jul, 2018

  • 后验崩溃和潜变量不可辨识性

    本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别，提出了一类具有潜变量可识别性的深度生成模型，并证明了它们可以通过概率单射 Brenier maps 实现参数化，在合成和实际数据集上优于现有方法，从而解决了后验坍塌问题。

    Jan, 2023

  • 通过对译码器网络进行反 Lipschitz 限制来控制后验坍塌

    本文针对变分自编码器中的后验崩溃问题，提出了一种基于反 Lipschitz 神经网络的方法，并在多个数值实验中证明了其有效性。

    Apr, 2023

  • 扩散变分推断：扩散模型作为表达丰富的变分先验

    我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

    Jan, 2024