更紧的变分界并不一定更好
本文介绍了变分Renyi界限(VR),它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法,并且通过参数化散度的Alpha值,实现了从证据下限到对数(边际)似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法,获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值,并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。
Feb, 2016
本文介绍了一种对变分推断的鲁棒修正方法,此方法适用于大多数训练集样本为随机噪声对象的情况,并在MNIST和OMNIGLOT合成数据集上展示了比证据下限更出色的目标。在原始的MNIST和OMNIGLOT数据集上,我们还观察到相对于非鲁棒证据的下限的小幅提高。
Nov, 2016
本论文提出了一种控制推理模型平滑性的技术 - Amortized Inference Regularization(AIR),该技术能够提高VAE模型的推理和生成性能,并挑战了对amortized inference仅仅只是最大似然训练的一种近似方法的信仰,为理解和提高VAEs中的泛化能力提供了新方向。
May, 2018
本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法,该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合,通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度,并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。
Jun, 2019
本论文引入了分层抽样的方法,实现了对混合分布的自动微分变分推断(ADVI); 并且通过建立重要性加权自编码器(IWAE)类似的较紧下界,进一步验证了该方法相较于传统ELBO或IWAE的优势,特别是在latents变量中有多峰分布时,表现出更高的准确性和更好的校准性。
Mar, 2020
Amortized variational inference (A-VI) is a general alternative to factorized (or mean-field) variational inference (F-VI) for approximating intractable posterior distributions, with conditions derived for achieving F-VI's optimal solution and strategies for expanding the domain of the inference function, while certain models like hidden Markov models and Gaussian processes cannot be matched by A-VI.
Jul, 2023
本文研究了重要性加权变分推断中的变分界限选择对结果的影响,填补了这一方法论中的空白。作者提出了对重参数化和双重重参数化梯度估计的分析,揭示了这些估计的优缺点,并比较了ELBO、IWAE和VR界限的方法。这项研究有助于深化对重要性加权变分推断方法的理解,并通过实证展示了理论发现。
Oct, 2024