Oct, 2014

马尔可夫链蒙特卡罗和变分推断：架起鸿沟

PDF
TL;DR提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法，它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似，并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。
stochastic gradient variational inferencebayesian inferencemonte carlo methodsmcmcposterior approximation
发现论文，激发创造
  • MCMC 和变分推断混合模型的分歧边界及其在朗之万动力学和 SGVI 中的应用

    本文探讨不同近似推断方法（Markov chain Monte Carlo 和变分推断）的优缺点，并提出一种分布来衡量它们之间的差距，其示例介绍了如何从这个分布中采样，以便在现有方法（基于 Langevin 动力学和随机梯度变分推断）之间进行加权插值。

    Jun, 2017

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016

  • 变分贝叶斯蒙特卡罗

    本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

    Oct, 2018

  • 变分 MCMC

    介绍一种新型学习算法，该算法结合了变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟，它的目的是更好地估计高阶时刻，如协方差，并用于逻辑信念网络的贝叶斯参数估计问题。

    Jan, 2013

  • 贝叶斯系统发育推断的变分方法

    本文提出了一种基于变分推理的贝叶斯系统发育分析方法，应用分支分离贝叶斯网络与合适的变分分布通过随机梯度上升来训练，实践表明该方法既能获得高效率的探索机制，也可以提供与 MCMC 相当的性能。

    Apr, 2022

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过 Markov chain Monte Carlo（MCMC）与 varational inference（VI）相结合，并引入 variational contrastive divergence（VCD）作为新的 divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 结构性随机梯度 MCMC

    用一种新的非参数泛化逼近方法代替 VI，包含了一种 Langevin-type 算法，其中一部分潜变量是从 Markov 链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10，SVHN 和 FMNIST 进行测试，我们发现与 SG-MCMC 和 VI 相比，在收敛速度和 / 或最终准确性方面都有所提高。

    Jul, 2021

  • 变分序贯蒙特卡罗

    本文在变分推理中提出了一种新的逼近分布族：变分顺序蒙特卡罗（VSMC）族，并显示了如何在变分推理中优化它，从而将变分推理和顺序蒙特卡罗相结合，提供了灵活，准确且强大的贝叶斯推理。我们展示了它在状态空间模型，金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。

    May, 2017

  • 离散选择大规模模型的变分推断

    本文介绍了利用变分方法进行离散选择模型贝叶斯推断的过程，并且在大规模数据集上，相比马尔可夫蒙特卡罗方法，可以在更小的计算成本下达到相当的精度。

    Dec, 2007

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017