采用自适应加权方案的加速马尔可夫链蒙特卡洛法
介绍了一种基于 Hamiltonian Monte Carlo 的 No-U-Turn Sampler 算法,能够消除用户需要手动设置采样步数的需求,通过递推式自适应调整采样步数;此算法效率至少不劣于标准 HMC 算法,而且不需要手动调参,适用于诸如自动推断引擎等的应用。
Nov, 2011
本研究旨在提高在处理大数据集时的贝叶斯后验MCMC采样的效率,通过引入基于连续假设检验的近似MH规则,根据部分数据即可高置信度地接受或拒绝样本,从而减少计算代价,同时控制引入的渐近偏差使方差下降得以更快。
Apr, 2013
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过Metropolis-Hastings算法,保证了变量选择的一致性和快速混合。
May, 2015
使用conductance方法增加状态空间进行研究,证明从系统扫描中得到的混合时间与从随机扫描中得到的混合时间最多相差多项式阶。
Jun, 2016
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗(MCMC)提议分布,应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数,并证明相比传统自适应MCMC方法,该方法带有更高的性能;并应用于多元随机步长Metropolis和Metropolis-adjusted Langevin提议与完整协方差矩阵,并证实该方法在MCMC算法中表现优异,包括哈密顿蒙特卡罗方案。
Nov, 2019
通过在神经网络各个节点引入噪声,作者提出一种新的概率模型,认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样,并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能;此外,通过教师-学生模型,作者提出了一种热化准则,并通过实验演示其有效性,该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。
Jun, 2023
本文介绍了一种针对Hamiltonian Monte Carlo(HMC)算法中no-U-turn sampler (NUTS)进行改进的方法,以实现更快的收敛速度。
Jul, 2023
此研究介绍了随机梯度贝克动力学(SGBD)算法,通过扩展最近开发的贝克马尔科夫链蒙特卡洛(MCMC)方案为随机梯度框架,实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明,相比流行的随机梯度 Langevin 动力学算法,SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。
May, 2024