使用 L-Lag 耦合估计马尔可夫链的收敛性
本文提出了一种基于耦合的马尔可夫链的估计方法,用于评估渐近偏差抽样方法的质量,并在高维度下证明了该方法的有效性,将其应用于各种贝叶斯估计方法中,包括在 4500 维度下的贝叶斯逻辑回归和在 50000 维度下的贝叶斯线性回归。
Dec, 2021
本论文介绍采用马尔可夫链蒙特卡罗方法进行积分的 MCMC 估算器存在固定迭代次数后偏差的问题,并提出使用 Markov 链的耦合以及 Glynn 和 Rhee 的 telescopoc sum 算法来消除偏差,最终得到可并行计算的无偏估算器。我们探讨了该方法在流行的 MCMC 算法中使用的实际耦合,证明了所提出的估算器的理论正确性,并研究了它们相对于底层 MCMC 算法的效率。最后,我们展示了该方法在玩具示例、临界温度附近的 Ising 模型、高维变量选择问题以及由多个模块组成的贝叶斯推断中所遇到的性能和局限性。
Aug, 2017
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
本文考虑在连续收缩先验下,使用马尔可夫链蒙特卡罗算法进行贝叶斯高维回归分析。文章提出的耦合技术能够实现实用的诊断收敛性,适用于高维回归分析。实验证明,耦合技术在具有一定自由度的半 t 分布先验下能够大幅度减少算法迭代次数,提高计算效率。
Dec, 2020
通过一种新的耦合方法,我们证明了 Hamiltonian Monte Carlo 算法的转换步对于经过精心设计的 Kantorovich(L1Wasserstein)距离是收缩的。 收敛速率的下界是明确的,全局凸性不是必需的,因此包括多模式目标分布。 收缩性的显式量化界限直接推出了近似到给定误差的稳态分布所需的步骤数。这些界限表明,如果调整 Hamiltonian 动力学的持续时间,则 HMC 可以克服扩散行为。
May, 2018
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
本文探讨不同近似推断方法(Markov chain Monte Carlo 和变分推断)的优缺点,并提出一种分布来衡量它们之间的差距,其示例介绍了如何从这个分布中采样,以便在现有方法(基于 Langevin 动力学和随机梯度变分推断)之间进行加权插值。
Jun, 2017
本文研究了马尔科夫链蒙特卡罗方法的误差边界问题,针对不同类型的马尔科夫链给出了相应的上下界,同时提供了选择转化期的配方,并将误差边界应用于积分和概率计算。
Aug, 2011
本文介绍一种采用各向同性高斯平滑处理的框架来解决高维 Markov 链蒙特卡罗采样中存在的难题,通过对具有对数凹的密度下的条件密度进行采样来实现,同时以最小历史方式保持跟踪样本历史, 将采样算法推广到了步行跳跃采样,并通过与其他 Langevin MCMC 算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的 “隧道” 传输能力。
May, 2023
本研究探讨了基于欠阻尼 Langevin 扰动的 Markov 链采样器在具有凸平滑势能的高维目标中的效率。研究人员使用一个经典的二阶积分器,每次迭代只需要计算一次梯度,并证明了离散时间链本身的沃舍斯坦距离的无尺度压缩和总变差距离的收敛率与维度无关。同时还得到了 Metropolis 调整链和未调整链的非渐进沃舍斯坦和总变差的效率界以及浓度不等式。 特别地,对于未调整链,无论在一般情况下、势函数海森斯的 Lipschitz 情况下还是可分离目标的情况下,沃舍斯坦效率界都是 $\sqrt d/\varepsilon$,与其他动态 Langevin 或 HMC 方案的已知结果相符合。
Jul, 2020