大数据集下近似 MCMC 链的遍历性
本文介绍了在贝叶斯分析中后验计算的主要范例:马尔可夫蒙特卡罗方法。我们提出了一种最优化方法,将计算时间和近似误差结合起来,并在均匀混合马尔可夫链的设置中进行了广泛的推广,表明了好的近似在实际应用中的重要性,如 $n$ 个逻辑回归和高斯处理的低秩逼近。
Aug, 2015
该研究提出了一种解决在科学领域中使用高级计算机模拟时出现的后验推断问题的新方法,这种方法使用学习的灵活的摊销估计量来近似似然 - 证据比率,并可以嵌入 MCMC 采样器中以从难以处理的后验中获得样本。
Mar, 2019
本文提出了一种基于耦合的马尔可夫链的估计方法,用于评估渐近偏差抽样方法的质量,并在高维度下证明了该方法的有效性,将其应用于各种贝叶斯估计方法中,包括在 4500 维度下的贝叶斯逻辑回归和在 50000 维度下的贝叶斯线性回归。
Dec, 2021
本文提出了一种改进的变分共识蒙特卡洛算法,该算法优化聚合函数以从分布中获得更好的近似目标,并展示了在三个推理任务中的优越性,实验结果表明,在一些情况下,改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。
Jun, 2015
研究了伪边缘马尔可夫链蒙特卡罗算法的收敛性质,发现了伪边缘算法的渐近方差始终不小于边缘算法的渐近方差,证明了当权重(目标密度的标准化估计)均匀受限时,若边缘链具有(右)谱差且伪边缘链也具有谱差,可得到类似的结果,而在一些特殊情况下,如均匀遍历性、独立 Metropolis-Hastings 或随机行走 Metropolis 直接针对具有正则轮廓的超指数密度,考虑了未受限的权重分布,并获得了多项式收敛速度,我们关于几何和多项式收敛速度的结果意味着中心极限定理,并证明在准确性提高的情况下,伪边缘算法的渐近方差收敛于边缘算法的渐近方差。
Oct, 2012
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
本论文介绍采用马尔可夫链蒙特卡罗方法进行积分的 MCMC 估算器存在固定迭代次数后偏差的问题,并提出使用 Markov 链的耦合以及 Glynn 和 Rhee 的 telescopoc sum 算法来消除偏差,最终得到可并行计算的无偏估算器。我们探讨了该方法在流行的 MCMC 算法中使用的实际耦合,证明了所提出的估算器的理论正确性,并研究了它们相对于底层 MCMC 算法的效率。最后,我们展示了该方法在玩具示例、临界温度附近的 Ising 模型、高维变量选择问题以及由多个模块组成的贝叶斯推断中所遇到的性能和局限性。
Aug, 2017
本研究旨在提高在处理大数据集时的贝叶斯后验 MCMC 采样的效率,通过引入基于连续假设检验的近似 MH 规则,根据部分数据即可高置信度地接受或拒绝样本,从而减少计算代价,同时控制引入的渐近偏差使方差下降得以更快。
Apr, 2013