MCMC领域的紧缩:削减Metropolis-Hastings预算
该研究论文介绍了连续时间贝叶斯网络的一种新的采样方法——Gibbs采样,以解决对多组件过程进行精确推理的困难。该方法可以适应进程的自然时间尺度,减少计算成本,并提供渐近无偏的近似。
Jun, 2012
该研究论文探讨了在面对包含海量数据集和需要超级计算机执行的模拟时,如何利用数据与模型之间的固有统计学特性来提高学习和推理的效率,并提出了相应的基于随机梯度的算法来检测概率、提高MCMC的更新效率和决定参数更新的接受或拒绝,同时探讨了在大数据和大模拟时代中Bayesian方法所面临的一些计算方面的挑战。
Feb, 2014
通过在模拟数据上运行双向蒙特卡洛技术,我们扩展了近来引入的双向蒙特卡洛技巧来评估基于MCMC的后验推理算法,并提出了一种验证模拟数据实验与真实数据集相关性的协议BREAD,并将其整合到WebPPL和Stan两种概率编程语言中。
Jun, 2016
本文提出了一种新颖的Metropolis-Hastings方法,用于大型数据集,使用期望大小较小的数据小批量,其测试成本类似于普通SGD更新,并且可以比之前的方法实现多个量级的加速。
Oct, 2016
该研究提出了一种解决在科学领域中使用高级计算机模拟时出现的后验推断问题的新方法,这种方法使用学习的灵活的摊销估计量来近似似然-证据比率,并可以嵌入MCMC采样器中以从难以处理的后验中获得样本。
Mar, 2019
本文提出了一种新的精确小批量 MH 方法TunaMH,通过调节批大小与收敛速度之间的权衡来提高效率,并在鲁棒线性回归、截尾高斯混合以及逻辑回归中验证了 TunaMH 的优越性。
Jun, 2020
我们提出了一种可以与其他变分参数一起学习的代理似然函数,以此支持两种算法类别优势的组合,此算法允许用户在推理保真度和计算成本之间进行直观权衡,适用于概率编程框架中黑盒子推理。
Dec, 2021
通过在神经网络各个节点引入噪声,作者提出一种新的概率模型,认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样,并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能;此外,通过教师-学生模型,作者提出了一种热化准则,并通过实验演示其有效性,该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。
Jun, 2023
通过计算关键批次的接受概率,我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法,研究了链的稳定分布的统计性质,并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率,分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子,我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。
Oct, 2023