Jun, 2024

独立 Metropolis 是否能胜过朴素蒙特卡罗?

TL;DR基于控制变量的独立 Metropolis 采样器使用提议密度进行方差缩减计算策略,可在 KL 散度条件下对密度进行估计,以较粗糙蒙特卡洛估计器具有更小的渐近方差,同时不需要额外的计算代价,但假设提议密度下的函数期望值在分析上是可用的。研究通过计算带有先验 - 似然冲突和非共轭先验的线性回归模型的边际似然,验证了该结果。此外,我们提出了一种自适应独立 Metropolis 算法,通过调整提议密度以减小其与目标之间的 KL 散度,可在贝叶斯逻辑回归和高斯过程回归问题中应用,并且严格对易验证和基本的最小条件进行了理论说明。