Jul, 2018

准蒙特卡罗变分推断

PDF
TL;DR本文提出了基于 Quasi-Monte Carlo 采样的方差减少方法，有效地提高了 Monte Carlo gradient estimator 的 MCVI 性能，并通过实验验证了该方法。
monte carlovariance reductionquasi-monte carlostochastic gradientsconvergence
发现论文，激发创造
  • 变分贝叶斯蒙特卡罗

    本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

    Oct, 2018

  • 降低重新参数化梯度方差

    本研究提出了一种基于控制变量（control variate）方法，通过估计梯度样本的生成过程近似减少噪声梯度的方差，取得了多个数量级（20-2,000 倍）的优化效果提升，在非共轭多级层次模型和贝叶斯神经网络实验中证明了其有效性。

    May, 2017

  • 马尔可夫链蒙特卡罗和变分推断：架起鸿沟

    提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法，它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似，并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。

    Oct, 2014

  • 结构性随机梯度 MCMC

    用一种新的非参数泛化逼近方法代替 VI，包含了一种 Langevin-type 算法，其中一部分潜变量是从 Markov 链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10，SVHN 和 FMNIST 进行测试，我们发现与 SG-MCMC 和 VI 相比，在收敛速度和 / 或最终准确性方面都有所提高。

    Jul, 2021

  • 变分序贯蒙特卡罗

    本文在变分推理中提出了一种新的逼近分布族：变分顺序蒙特卡罗（VSMC）族，并显示了如何在变分推理中优化它，从而将变分推理和顺序蒙特卡罗相结合，提供了灵活，准确且强大的贝叶斯推理。我们展示了它在状态空间模型，金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。

    May, 2017

  • 变分共识蒙特卡罗

    本文提出了一种改进的变分共识蒙特卡洛算法，该算法优化聚合函数以从分布中获得更好的近似目标，并展示了在三个推理任务中的优越性，实验结果表明，在一些情况下，改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。

    Jun, 2015

  • 变分 MCMC

    介绍一种新型学习算法，该算法结合了变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟，它的目的是更好地估计高阶时刻，如协方差，并用于逻辑信念网络的贝叶斯参数估计问题。

    Jan, 2013

  • 随机拟牛顿 Langevin Monte Carlo

    本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

    Feb, 2016

  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016