用耦合方法界定 Wasserstein 距离
本文提出了一种新的方法,基于 Wasserstein 距离的估计误差进行控制,然后通过广义 Fisher 距离限制 Wasserstein 距离。我们使用这种方法为 Laplace 近似和 Hilbert coresets 推导 Wasserstein 误差上限,并期望这种方法也适用于其他近似推理方法,例如综合 Laplace 近似、变分推理和近似贝叶斯计算。
Sep, 2018
本论文介绍采用马尔可夫链蒙特卡罗方法进行积分的 MCMC 估算器存在固定迭代次数后偏差的问题,并提出使用 Markov 链的耦合以及 Glynn 和 Rhee 的 telescopoc sum 算法来消除偏差,最终得到可并行计算的无偏估算器。我们探讨了该方法在流行的 MCMC 算法中使用的实际耦合,证明了所提出的估算器的理论正确性,并研究了它们相对于底层 MCMC 算法的效率。最后,我们展示了该方法在玩具示例、临界温度附近的 Ising 模型、高维变量选择问题以及由多个模块组成的贝叶斯推断中所遇到的性能和局限性。
Aug, 2017
逆问题中,通过最小化联合度量与其学习近似度量之间的距离,许多条件生成模型近似后验测度。尽管这种方法对于 KL 散度的情况也控制了后验测度之间的距离,但对于 Wasserstein 距离则不成立。我们引入一种带有一组受限耦合的条件 Wasserstein 距离,它等于后验分布的期望 Wasserstein 距离。通过推导其对偶性,我们找到了正式推动条件 Wasserstein GAN 损失的方法。我们概述了条件 Wasserstein 距离和普通 Wasserstein 距离重合的条件,并且还展示了使用条件 Wasserstein 距离训练时获得有利的后验抽样性质的数值示例。
Oct, 2023
本文介绍了一个基于独立在线 Monte Carlo 模拟的估计器,该估计器替代了目标分布比率的对数,并应用在 Metropolis Hastings MCMC 中。文章探讨了基于该均值估计的情况,并对其他算法的近似版本进行了研究,最后得出其中的 Monte Carlo 误差的数量级,以及估计拒绝率的修正项。
May, 2012
本研究探讨了基于欠阻尼 Langevin 扰动的 Markov 链采样器在具有凸平滑势能的高维目标中的效率。研究人员使用一个经典的二阶积分器,每次迭代只需要计算一次梯度,并证明了离散时间链本身的沃舍斯坦距离的无尺度压缩和总变差距离的收敛率与维度无关。同时还得到了 Metropolis 调整链和未调整链的非渐进沃舍斯坦和总变差的效率界以及浓度不等式。 特别地,对于未调整链,无论在一般情况下、势函数海森斯的 Lipschitz 情况下还是可分离目标的情况下,沃舍斯坦效率界都是 $\sqrt d/\varepsilon$,与其他动态 Langevin 或 HMC 方案的已知结果相符合。
Jul, 2020
Markov 链蒙特卡洛 (MCMC) 是推断隐藏马尔可夫模型的可行方法,但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤,受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射,其中嵌入了确定性子流形,并提出了一种通过最大化加权里捷极化量来离散化可矩阵流形的新准则。我们研究了 Chebyshev 粒子的特性,并将它们嵌入到连续的 MCMC 中,这是一种高接受率的新型采样器,只提出了少量评估。我们在合成数据的线性高斯状态空间模型和真实数据的非线性随机波动率模型的参数推断实验中取得了高性能。
Sep, 2023
本文考虑在连续收缩先验下,使用马尔可夫链蒙特卡罗算法进行贝叶斯高维回归分析。文章提出的耦合技术能够实现实用的诊断收敛性,适用于高维回归分析。实验证明,耦合技术在具有一定自由度的半 t 分布先验下能够大幅度减少算法迭代次数,提高计算效率。
Dec, 2020