Weierstrass 取样器实现 MCMC 并行化
该论文提出了一种并行的马尔可夫链蒙特卡罗算法,能够降低学习过程中的同步需求所带来的通信成本,并成功地实现了在多台机器上独立处理多个数据子集,从而生成大数据集的后验分布样本。
Nov, 2013
本文介绍了一种新的 EP-MCMC 算法 ——PART, 采用随机划分树来合并子集后验抽取样本,该算法具有分布自由性,易于再抽样和适用于多个比例的优点。理论和实验表明,该算法在大数据集上表现良好。
Jun, 2015
本文提出两种应用并行处理的方法以替代传统的 Markov Chain Monte Carlo (MCMC),即采用 Sequential Monte Carlo (SMC) 取样器或数据分区,并通过实验测试发现在多核处理器中使用 SMC 比传统串行实现的 MCMC 运行时间快至少 343 倍。
Jan, 2023
该研究论文介绍了一种新的意向充气抽样算法 (LISA),其使用并行计算来显著降低随机分割数据集的计算成本,并结合了抽样过的数据来研究贝叶斯加性回归树模型的全后验概率。
May, 2016
Markov 链蒙特卡洛 (MCMC) 是推断隐藏马尔可夫模型的可行方法,但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤,受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射,其中嵌入了确定性子流形,并提出了一种通过最大化加权里捷极化量来离散化可矩阵流形的新准则。我们研究了 Chebyshev 粒子的特性,并将它们嵌入到连续的 MCMC 中,这是一种高接受率的新型采样器,只提出了少量评估。我们在合成数据的线性高斯状态空间模型和真实数据的非线性随机波动率模型的参数推断实验中取得了高性能。
Sep, 2023
本文提出了一种基于耦合的马尔可夫链的估计方法,用于评估渐近偏差抽样方法的质量,并在高维度下证明了该方法的有效性,将其应用于各种贝叶斯估计方法中,包括在 4500 维度下的贝叶斯逻辑回归和在 50000 维度下的贝叶斯线性回归。
Dec, 2021
本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法:分而治之的方法和基于子采样的算法,并提出了一种新颖的基于子采样的方法,并在某些统计模型的有利情况下,每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估,然而,在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下,我们目前只能提出能在基于子采样的方法中表现良好的方法,而在其他情况下这仍然是一个未解决的挑战。
May, 2015
本文提出了一种基于高斯过程近似的三种方法:基于哈密顿蒙特卡罗算法、基于真实后验期望的重要性抽样方法和利用高斯过程分布重新赋权的替代重要性抽样方法,以解决大数据下的马尔科夫链蒙特卡罗算法不适合的问题。
May, 2016
本文提出了一种改进的变分共识蒙特卡洛算法,该算法优化聚合函数以从分布中获得更好的近似目标,并展示了在三个推理任务中的优越性,实验结果表明,在一些情况下,改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。
Jun, 2015
提出了一种名为 Subsampling MCMC 的 Markov Chain Monte Carlo(MCMC)框架,其中通过对 m 个观测数据的随机子集进行估计,得到 n 个观测数据的似然函数,利用控制变量的高效无偏估计量来校正估计偏差并用于两种 Pseudo-marginal 算法,从而从扰动后验中采样,该方法在采样效率上显著优于标准 MCMC,在计算预算相同的情况下,而且此方法比其他文献中提出的 MCMC 子抽样方法表现更优秀。
Apr, 2014