Jun, 2018

离散变分自编码器的直接最大化优化

PDF
TL;DR本研究采用直接损失最小化方法，对可连续随机变量的变分自编码器进行重参数化以降低梯度估计的方差，我们将该方法自然地扩展到结构化离散潜在变量模型，并在无结构和有结构的离散潜在变量的变分自编码器中进行了实证检验。
variational auto-encodersreparameterizationgumbel-max trickdirect loss minimizationstructured discrete latent variable models
发现论文，激发创造
  • 离散变分自编码器

    该研究提出了一种使用变分自编码器框架中的反向传播通过离散潜在变量训练带有离散潜变量的概率模型的新方法，能够有效地从无监督数据中学习对象的类别和像素级别的信息，并在 MNIST，Omniglot 和 Caltech-101 Silhouettes 数据集上比其他方法更加先进。

    Sep, 2016

  • 通过稀疏性高效消除离散和结构化潜变量的影响

    本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

    Jul, 2020

  • 混合密度分布随机反向传播

    通过 reparameterization trick 和新的变换方法，本文提出了一种有效的估算混合密度模型中梯度的方法，可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。

    Jul, 2016

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 广义去噪自编码器作为生成模型

    该研究提出了一种新的方法，能够在处理离散数据、任意形式的噪声和重构损失、同时去除偏差等方面更好地连接正则化自编码器的训练过程和对潜在生成分布的隐式估计。

    May, 2013

  • REBAR: 离散潜变量模型低方差、无偏梯度估计

    本文通过将控制变量与连续松弛相结合的方式来降低离散潜在变量的高方差梯度估计，并引入了一种在线调整松弛度的修改方法，实现了最先进的方差降低并加速了生成建模任务中的收敛。

    Mar, 2017

  • 通过对抗最大化互信息来学习离散结构表示

    本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

    Apr, 2020

  • 对抗性正则化自编码器

    本文提出了一种基于 Wasserstein 自动编码器（WAE）的灵活方法，用于训练离散结构的深度潜变量模型，该方法扩展了 WAE 框架以对离散序列进行建模，并进一步探索了不同的先验知识以获得可控表示，最后展示了 WAE 中的潜变量可以进行文本风格转换。

    Jun, 2017

  • 变分自编码深度高斯过程

    通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

    Nov, 2015