关于大数据的马尔科夫链蒙特卡罗方法

May, 2015

关于大数据的马尔科夫链蒙特卡罗方法

On Markov chain Monte Carlo methods for tall data

Rémi Bardenet, Arnaud Doucet, Chris Holmes

TL;DR本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法：分而治之的方法和基于子采样的算法，并提出了一种新颖的基于子采样的方法，并在某些统计模型的有利情况下，每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估，然而，在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下，我们目前只能提出能在基于子采样的方法中表现良好的方法，而在其他情况下这仍然是一个未解决的挑战。

Abstract

markov chain monte carlo methods are often deemed too computationally intensive to be of any practical use for big data applications, and in particular for inference on datasets containing a large number $n$ of individual data points, also known as tall datasets. In scenarios where dat

markov chain monte carlo metropolis-hastings algorithm bayesian inference divide-and-conquer approaches subsampling-based algorithms

发现论文，激发创造

MCMC 领域的紧缩：削减 Metropolis-Hastings 预算

本研究旨在提高在处理大数据集时的贝叶斯后验 MCMC 采样的效率，通过引入基于连续假设检验的近似 MH 规则，根据部分数据即可高置信度地接受或拒绝样本，从而减少计算代价，同时控制引入的渐近偏差使方差下降得以更快。

Apr, 2013

随机梯度马尔可夫链蒙特卡洛

本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

Jul, 2019

高效数据子采样加速 MCMC

提出了一种名为 Subsampling MCMC 的 Markov Chain Monte Carlo（MCMC）框架，其中通过对 m 个观测数据的随机子集进行估计，得到 n 个观测数据的似然函数，利用控制变量的高效无偏估计量来校正估计偏差并用于两种 Pseudo-marginal 算法，从而从扰动后验中采样，该方法在采样效率上显著优于标准 MCMC，在计算预算相同的情况下，而且此方法比其他文献中提出的 MCMC 子抽样方法表现更优秀。

Apr, 2014

通过高斯过程逼近合并 MCMC 子后验分布

本文提出了一种基于高斯过程近似的三种方法：基于哈密顿蒙特卡罗算法、基于真实后验期望的重要性抽样方法和利用高斯过程分布重新赋权的替代重要性抽样方法，以解决大数据下的马尔科夫链蒙特卡罗算法不适合的问题。

May, 2016

利用学习和推理的统计数据

该研究论文探讨了在面对包含海量数据集和需要超级计算机执行的模拟时，如何利用数据与模型之间的固有统计学特性来提高学习和推理的效率，并提出了相应的基于随机梯度的算法来检测概率、提高 MCMC 的更新效率和决定参数更新的接受或拒绝，同时探讨了在大数据和大模拟时代中 Bayesian 方法所面临的一些计算方面的挑战。

Feb, 2014

哈密顿蒙特卡罗与数据子抽样的根本不兼容性

本文主要研究了数据子采样对于 Hamiltonian Monte Carlo 的计算效率与高维目标分布的影响，发现数据子采样会削弱 Hamiltonian 流的有效探索性能，从而损害了 Hamiltonian Monte Carlo 的可扩展性能。

Feb, 2015

极大似然充实采样算法

该研究论文介绍了一种新的意向充气抽样算法 (LISA)，其使用并行计算来显著降低随机分割数据集的计算成本，并结合了抽样过的数据来研究贝叶斯加性回归树模型的全后验概率。

May, 2016

提高高维贝叶斯优化中的样本效率与 MCMC

基于马尔可夫链蒙特卡罗方法，我们提出了一种新的算法来从近似后验中高效采样，该算法在高维度的顺序优化中表现优于现有方法。

Jan, 2024

随机 Metropolis-Hastings 的统计保证

通过计算关键批次的接受概率，我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法，研究了链的稳定分布的统计性质，并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率，分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子，我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。

Oct, 2023

Metropolis-Hastings 微分优化难以计算的密度函数

本文提出了一种用于无偏区别 Metropolis-Hastings 采样器的方法，使得我们能够通过概率推理进行不可行目标密度的优化，该方法通过融合随机区分的最新进展和马尔可夫链耦合方案，可以使该过程无偏、低方差和自动化，然后将其应用于期望为不可行目标密度的优化中。在文中所提出的方法中，分别应用到高斯混合模型中找到不明显的观察和 Ising 模型中的特定热容的最大化。

Jun, 2023