本文提出了使用退火重要性采样 (annealed importance sampling) 来学习深度生成模型的方法,该方法是变分推断 (variational inference) 和马尔可夫链蒙特卡罗 (Markov chain Monte Carlo) 两种主要的近似方法的结合,通过实验表明该方法比重要性加权自编码器 (importance weighted auto-encoders) 更好地建模了概率密度,并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。
Jun, 2019
本工作提出一种更有效的变分推断算法,该算法采用重要性抽样估计梯度,通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降,同时提供了一种可证明的随机平均梯度变体,可用于变分推断。
Apr, 2017
通过使用多样本重要性采样和无偏梯度估计器优化变分下界,从而提高潜变量模型的训练效果。
Feb, 2016
本文提出了一种基于收紧方法的层次模型变分下界的变分方法,该方法可以自然地使用子采样以获得无偏梯度,并在较低维度空间中独立地应用紧缩较低下界的方法,以获得比相关基线更好的结果和更准确的后验近似。
Mar, 2022
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
本文提出了一种新的算法,使用随机梯度变分推断方法和无偏估计对后验分布进行近似,实现了降低计算开销的贝叶斯合成似然,同时改善了现有相关似然无关变分推断技术的实现方式。这些新算法可以在参数和统计量的维度方面具有挑战性的情况下实施,相比传统的近似贝叶斯计算方法更为可行。
Aug, 2016
本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法,并通过实验结果证明了这种方法的理论优势和性能改进。
Sep, 2016
本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
本文提出了 Monte Carlo VAE 方法,并通过在多个应用中的表现来说明其性能,该方法在 Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling 等方面都做了较全面的探讨。
Jun, 2021
提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法,它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似,并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。
Oct, 2014