渐进最优的精确小批量 Metropolis-Hastings
本文提出了一种新颖的 Metropolis-Hastings 方法,用于大型数据集,使用期望大小较小的数据小批量,其测试成本类似于普通 SGD 更新,并且可以比之前的方法实现多个量级的加速。
Oct, 2016
本研究旨在提高在处理大数据集时的贝叶斯后验 MCMC 采样的效率,通过引入基于连续假设检验的近似 MH 规则,根据部分数据即可高置信度地接受或拒绝样本,从而减少计算代价,同时控制引入的渐近偏差使方差下降得以更快。
Apr, 2013
本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法:分而治之的方法和基于子采样的算法,并提出了一种新颖的基于子采样的方法,并在某些统计模型的有利情况下,每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估,然而,在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下,我们目前只能提出能在基于子采样的方法中表现良好的方法,而在其他情况下这仍然是一个未解决的挑战。
May, 2015
本文介绍了 Moeller 等人(2004)的辅助变量方案,该方案用于从具有难以处理的归一化常数的分布中进行准确的抽样,并提出了一种新的 MCMC 算法,提高提议分布的接受概率,并在采样之前消除模型参数估计的需求。
Jun, 2012
本文介绍了一个基于独立在线 Monte Carlo 模拟的估计器,该估计器替代了目标分布比率的对数,并应用在 Metropolis Hastings MCMC 中。文章探讨了基于该均值估计的情况,并对其他算法的近似版本进行了研究,最后得出其中的 Monte Carlo 误差的数量级,以及估计拒绝率的修正项。
May, 2012
通过计算关键批次的接受概率,我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法,研究了链的稳定分布的统计性质,并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率,分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子,我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。
Oct, 2023
本文提出了一种用于无偏区别 Metropolis-Hastings 采样器的方法,使得我们能够通过概率推理进行不可行目标密度的优化,该方法通过融合随机区分的最新进展和马尔可夫链耦合方案,可以使该过程无偏、低方差和自动化,然后将其应用于期望为不可行目标密度的优化中。在文中所提出的方法中,分别应用到高斯混合模型中找到不明显的观察和 Ising 模型中的特定热容的最大化。
Jun, 2023
能量基语言建模与 Metropolis-Hastings 抽样器相结合可实现更高效和准确的文本生成,通过迭代提示大型语言模型,允许在每个步骤中对整个序列进行重写,从而确定生成长度和提高下游性能。
Dec, 2023
通过对给定的可逆算法构建不可逆变形来改善从已知分布中的采样效率,并测试在通过一个自旋团簇示例上设计的不可逆版本 Metropolis-Hastings (IMH) 上。
Sep, 2008