离散空间中的局部自平衡MCMC
介绍了一种基于 Hamiltonian Monte Carlo 的 No-U-Turn Sampler 算法,能够消除用户需要手动设置采样步数的需求,通过递推式自适应调整采样步数;此算法效率至少不劣于标准 HMC 算法,而且不需要手动调参,适用于诸如自动推断引擎等的应用。
Nov, 2011
该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学,并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外,还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法,使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法,如 SGHMC 和 SGNHT,在合成和真实高维采样场景中表现出强大的性能。
Nov, 2017
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗(MCMC)提议分布,应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数,并证明相比传统自适应MCMC方法,该方法带有更高的性能;并应用于多元随机步长Metropolis和Metropolis-adjusted Langevin提议与完整协方差矩阵,并证实该方法在MCMC算法中表现优异,包括哈密顿蒙特卡罗方案。
Nov, 2019
本文介绍了一种名为 iMCMC 的框架,它提供了一种统一的视角来描述各种 MCMC 算法,并提供了一些指导新算法设计的技巧。两个例子展示了如何将已知的可逆 MCMC 算法转化为更高效的不可逆算法。
Jun, 2020
本文提出了一种基于神经网络的自适应MCMC采样器,它利用目标分布的梯度生成提案,通过最大化建议熵来实现对建议熵的直接优化,从而提高了在各种采样任务中的效率。
Oct, 2020
引入了一种基于SurVAE流的方法,结合神经运输方法和Metropolis-Hastings规则,在混合Monte Carlo中提供对离散域的采样能力。
Feb, 2021
本文介绍了一种针对Hamiltonian Monte Carlo(HMC)算法中no-U-turn sampler (NUTS)进行改进的方法,以实现更快的收敛速度。
Jul, 2023
Markov链蒙特卡洛(MCMC)是推断隐藏马尔可夫模型的可行方法,但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤,受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射,其中嵌入了确定性子流形,并提出了一种通过最大化加权里捷极化量来离散化可矩阵流形的新准则。我们研究了Chebyshev粒子的特性,并将它们嵌入到连续的MCMC中,这是一种高接受率的新型采样器,只提出了少量评估。我们在合成数据的线性高斯状态空间模型和真实数据的非线性随机波动率模型的参数推断实验中取得了高性能。
Sep, 2023
马尔可夫链蒙特卡洛(MCMC)方法通过对复杂统计分布进行局部探索来模拟,尽管避免了对目标的具体分析表达式的繁琐要求,但这种对不确定参数空间的随机探索需要大量样本,而且随着参数维度的增加而增加计算复杂性。我们将目标分布视为一个映射,其中参数的无限维空间包含一些确定性子流形,并提出了一种广义能量度量,称为加权Riesz能量,通过成对交互生成一些点以离散化这些测地子流形。我们研究了这些点的属性,称之为Riesz粒子,并将其嵌入到顺序MCMC中,发现更少的评估可以实现更高的接受率,我们通过针对具有合成数据的线性高斯状态空间模型和现实世界数据的非线性随机波动模型的实验比较分析进行了验证。
Dec, 2023
分布式采样方案基于交替方向乘子方法,用于处理机器学习任务中的分布式数据集,并在贝叶斯推断任务中提供不确定性量化。通过优化算法的收敛性理论保证和与现有基于梯度的方法相比的实验证据,论文表明该方案具有优越性。
Jan, 2024