MCMC 驱动学习
提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法,它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似,并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。
Oct, 2014
本文介绍了一种名为 iMCMC 的框架,它提供了一种统一的视角来描述各种 MCMC 算法,并提供了一些指导新算法设计的技巧。两个例子展示了如何将已知的可逆 MCMC 算法转化为更高效的不可逆算法。
Jun, 2020
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
为初学者提供了关于 Markov Chain Monte Carlo (MCMC) 模拟的介绍,并提供了实际的模拟代码和大部分教材中被跳过的必要细节。此外,还针对 dynamical fermions 进行了专门介绍,并解释了用于模拟的特定方法,特别是 supersymmetric Yang-Mills,在 QCD 和矩阵积分中有实例应用。
Aug, 2018
本文探讨不同近似推断方法(Markov chain Monte Carlo 和变分推断)的优缺点,并提出一种分布来衡量它们之间的差距,其示例介绍了如何从这个分布中采样,以便在现有方法(基于 Langevin 动力学和随机梯度变分推断)之间进行加权插值。
Jun, 2017
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗(MCMC)提议分布,应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数,并证明相比传统自适应 MCMC 方法,该方法带有更高的性能;并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵,并证实该方法在 MCMC 算法中表现优异,包括哈密顿蒙特卡罗方案。
Nov, 2019
本文提出了第一个元学习算法,可以自动设计 SG-MCMC 采样器的连续动力学,学习的采样器泛化了 Hamiltonian 动力学,并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证,表明学习采样器优于通用手动设计的 SG-MCMC 算法,并且可以推广到不同的数据集和更大的架构。
Jun, 2018
本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗(SGMCMC)的可扩展蒙特卡罗算法,其利用数据子抽样技术降低了 MCMC 的迭代成本,并比较了其效率与 MCMC 在基准示例上的异同。
Jul, 2019
本文介绍了如何通过编程实现 MCMC 方法以进行参数估计和不确定性量化,并探讨了在机器学习和深度学习等大规模模型中应用 MCMC 方法的挑战,主要通过使用 Python 语言示例代码实现贝叶斯概率模型的应用。
Apr, 2023