Oct, 2023

随机 Metropolis-Hastings 的统计保证

PDF
TL;DR通过计算关键批次的接受概率，我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法，研究了链的稳定分布的统计性质，并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率，分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子，我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。
发现论文，激发创造
  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • MCMC 领域的紧缩：削减 Metropolis-Hastings 预算

    本研究旨在提高在处理大数据集时的贝叶斯后验 MCMC 采样的效率，通过引入基于连续假设检验的近似 MH 规则，根据部分数据即可高置信度地接受或拒绝样本，从而减少计算代价，同时控制引入的渐近偏差使方差下降得以更快。

    Apr, 2013

  • 带随机接受概率的耦合马尔可夫链蒙特卡罗方法

    本文介绍了一个基于独立在线 Monte Carlo 模拟的估计器，该估计器替代了目标分布比率的对数，并应用在 Metropolis Hastings MCMC 中。文章探讨了基于该均值估计的情况，并对其他算法的近似版本进行了研究，最后得出其中的 Monte Carlo 误差的数量级，以及估计拒绝率的修正项。

    May, 2012

  • Metropolis-Hastings 算法的高效小批次接受性检验

    本文提出了一种新颖的 Metropolis-Hastings 方法，用于大型数据集，使用期望大小较小的数据小批量，其测试成本类似于普通 SGD 更新，并且可以比之前的方法实现多个量级的加速。

    Oct, 2016

  • Metropolis-Hastings 微分优化难以计算的密度函数

    本文提出了一种用于无偏区别 Metropolis-Hastings 采样器的方法，使得我们能够通过概率推理进行不可行目标密度的优化，该方法通过融合随机区分的最新进展和马尔可夫链耦合方案，可以使该过程无偏、低方差和自动化，然后将其应用于期望为不可行目标密度的优化中。在文中所提出的方法中，分别应用到高斯混合模型中找到不明显的观察和 Ising 模型中的特定热容的最大化。

    Jun, 2023

  • 高维高斯测度扰动下的 Metropolis-Hastings 算法误差界

    本文研究了自适应 Metropolis-Langevin 算法在连续分布中采样的效果，推导出了对于密度函数满足某些特征的情况下，Kantorovich-Rubinstein-Wasserstein 距离的上界；并且该上界不依赖于维度，且在一定步长范围内成立。

    Oct, 2012

  • Hamiltonian Monte Carlo 的耦合与收敛

    通过一种新的耦合方法，我们证明了 Hamiltonian Monte Carlo 算法的转换步对于经过精心设计的 Kantorovich（L1Wasserstein）距离是收缩的。 收敛速率的下界是明确的，全局凸性不是必需的，因此包括多模式目标分布。 收缩性的显式量化界限直接推出了近似到给定误差的稳态分布所需的步骤数。这些界限表明，如果调整 Hamiltonian 动力学的持续时间，则 HMC 可以克服扩散行为。

    May, 2018

  • 多层次汉密尔顿蒙特卡罗

    提出了一种新型的两阶段哈密顿蒙特卡罗算法，通过使用一个廉价的可微分代理模型计算接受率，在第二阶段使用高保真度（HF）数值求解器评估后验分布，以高效地逼近后验梯度并产生准确的后验样本，成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制，并在计算后验统计量时保持或改进准确性。

    May, 2024

  • 关于大数据的马尔科夫链蒙特卡罗方法

    本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法：分而治之的方法和基于子采样的算法，并提出了一种新颖的基于子采样的方法，并在某些统计模型的有利情况下，每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估，然而，在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下，我们目前只能提出能在基于子采样的方法中表现良好的方法，而在其他情况下这仍然是一个未解决的挑战。

    May, 2015

  • 通过随机梯度巴克动力学实现鲁棒的近似采样

    此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

    May, 2024