Oct, 2018

变分贝叶斯蒙特卡罗

PDF
TL;DR本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。
发现论文，激发创造
  • 变分序贯蒙特卡罗

    本文在变分推理中提出了一种新的逼近分布族：变分顺序蒙特卡罗（VSMC）族，并显示了如何在变分推理中优化它，从而将变分推理和顺序蒙特卡罗相结合，提供了灵活，准确且强大的贝叶斯推理。我们展示了它在状态空间模型，金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。

    May, 2017

  • 变分共识蒙特卡罗

    本文提出了一种改进的变分共识蒙特卡洛算法，该算法优化聚合函数以从分布中获得更好的近似目标，并展示了在三个推理任务中的优越性，实验结果表明，在一些情况下，改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。

    Jun, 2015

  • 温和后验分布及其变分逼近的集中性

    本文提出了一种通用方法来证明分数后验变分近似的集中性，应用于矩阵补全和高斯 VB 两个例子，弥补了变分贝叶斯方法在理论方面的不足。

    Jun, 2017

  • 准蒙特卡罗变分推断

    本文提出了基于 Quasi-Monte Carlo 采样的方差减少方法，有效地提高了 Monte Carlo gradient estimator 的 MCVI 性能，并通过实验验证了该方法。

    Jul, 2018

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016

  • 马尔可夫链蒙特卡罗和变分推断：架起鸿沟

    提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法，它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似，并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。

    Oct, 2014

  • 结构性随机梯度 MCMC

    用一种新的非参数泛化逼近方法代替 VI，包含了一种 Langevin-type 算法，其中一部分潜变量是从 Markov 链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10，SVHN 和 FMNIST 进行测试，我们发现与 SG-MCMC 和 VI 相比，在收敛速度和 / 或最终准确性方面都有所提高。

    Jul, 2021

  • 变分贝叶斯方法的频率派一致性

    本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化 KL 散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。

    May, 2017

  • 变分 MCMC

    介绍一种新型学习算法，该算法结合了变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟，它的目的是更好地估计高阶时刻，如协方差，并用于逻辑信念网络的贝叶斯参数估计问题。

    Jan, 2013

  • 贝叶斯系统发育推断的变分方法

    本文提出了一种基于变分推理的贝叶斯系统发育分析方法，应用分支分离贝叶斯网络与合适的变分分布通过随机梯度上升来训练，实践表明该方法既能获得高效率的探索机制，也可以提供与 MCMC 相当的性能。

    Apr, 2022