ICMLFeb, 2018

更紧的变分界并不一定更好

PDF
TL;DR本文提供理论和实证证据表明，使用更严格的证据下界（ELBO）可能会降低梯度估计器的信噪比，从而对学习推理网络产生不利影响，并介绍了三种新算法：偏重要性加权自动编码器（PIWAE），乘法重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。同时，我们的结果表明，PIWAE 可以同时改善推理和生成网络的训练。
elbovaritational objectiveinference networkimportance weighted auto-encodersignal-to-noise ratio
发现论文，激发创造
  • 重要性加权自编码器

    本文提出了 IWAE，一种基于 VAE 的生成模型，将后验分布建模的灵活性提高，使得学习到的潜空间表示更加丰富，从而取得更好的密度估计结果。

    Sep, 2015

  • 重塑重要性加权自编码器

    通过优化更复杂的分布，重要性加权自编码器最大化标准变分下限而非标准证据下限，我们推导出该结果，并展示了比标准下限更紧的下限和隐含的重要性加权分布可视化。

    Apr, 2017

  • 蒙特卡罗变分自编码器

    本文提出了 Monte Carlo VAE 方法，并通过在多个应用中的表现来说明其性能，该方法在 Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling 等方面都做了较全面的探讨。

    Jun, 2021

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统 ELBO 或 IWAE 的优势，特别是在 latents 变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 重要性加权和变分推断

    本文研究使用重要性采样方法对概率变分推断的影响，并提出了 “重要性加权变分推断（IWVI）” 技术，它是 “增广变分推断” 的一种实例，能够改善低维准确性和高维收敛性，实验证实了其对概率推断的实用性。

    Aug, 2018

  • 分层重要性加权自编码器

    引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

    May, 2019

  • 向变分紧致性攀登之路：单调性和蒙特卡罗目标

    本文重访重要性加权变分推断理论，提供了一系列的数理统计理论证明，阐述了蒙特卡罗求解的样本数量与变分界限的紧度之间的关系，以及负相关性可以降低变分差距等内容，这有助于更好地研究拉普拉斯近似、新型均值场推断等领域。

    Jan, 2022

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 使用置换不变编码器和更紧的变分界限学习多模态生成模型

    通过多模态数据，在机器学习研究中设计深度潜变量模型一直是一个长期的主题。本文考虑了一种可以严密下界数据对数似然的变分约束，同时发展了更灵活的聚合方案，通过组合不同模态的编码特征与置换不变神经网络。数值实验表明了多模态变分约束和各种聚合方案之间的权衡。我们展示了当我们想近似已鉴别模型中观察到的模态和潜变量的真实联合分布时，更紧密的变分约束和更灵活的聚合模型可能会带来益处。

    Sep, 2023