Jun, 2023

使用 Gumbel 传播的潜在最优路径来进行变分贝叶斯动态规划

PDF
TL;DR本研究提出了一种方法，利用动态规划和 Gumbel 传播在变分自编码器（VAE）的潜在空间中获取结构化稀疏的最优路径，此方法可应用于生成任务的端到端训练，并成功应用于文本转语音和合成歌声。
variational autoencoderdynamic programminggumbel propagationoptimal pathsgenerative tasks
发现论文，激发创造
  • 利用预测信念传播学习通用潜变量图模型

    提出了一种基于预测信念传播的新型学习和推断算法，对于一般潜变量图模型，算法将硬参数学习问题简化为一系列监督学习问题，并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中，此算法在合成和真实数据集上显著优于前人方法，也更快地计算。

    Dec, 2017

  • 变分自编码深度高斯过程

    通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

    Nov, 2015

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 使用平衡传播训练 Hopfield 变分自编码器

    该研究论文介绍了平衡传播在训练变分自编码器中的应用，利用对称的 Hopfield 网络结构，提出使用一种模型兼作编码器和解码器，可有效减少 VAE 实施所需芯片尺寸，为更高效的模拟硬件配置铺平了道路。

    Nov, 2023

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 稀疏高斯过程变分自编码器

    研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题，并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器，从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据，并提高模型的计算效率。

    Oct, 2020

  • 基于变分自编码模型的深入理解

    本文提出了一种新的变分自编码模型优化标准，推广了标准的证据下界，提供了它们恢复数据分布和学习潜在特征的条件，并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解，我们提出了一种新的序列化 VAE 模型，可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本，并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。

    Feb, 2017

  • 从最优传输到生成模型：VEGAN 食谱

    本文以优化传输问题为基础，研究了无监督生成建模，并使用惩罚最优传输（POT）目标来有效地最小化该问题。作者发现，AAE 中的目标与 POT for the 2-Wasserstein distance 相同，并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。

    May, 2017

  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • 带结构推理网络的变分消息传递

    通过结构化推理网络和变分信息传递算法，提出了一种针对深层结构模型的高效变分推理方法，实现了结构化、平凡化和自然梯度推理的同时简化了现有方法。

    Mar, 2018