Feb, 2024

通过 Langevin MCMC 在 Riemann 流形上进行高效采样

PDF
TL;DR通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务，我们提出了一种在实践中可实现的算法，该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定，假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率，我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配，结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证，我们证明 Langevin MCMC 迭代在经过～O (ε^-2) 次步骤后，与 π* 之间的 Wasserstein 距离小于 ε，这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下，即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件，我们分析了 Langevin MCMC 的随机梯度版本，并将其迭代复杂性限制在～O (ε^-2) 次。
samplinggibbs distributionlangevin mcmcriemannian manifoldeuler-murayama scheme
发现论文，激发创造
  • 基于 Monge 修补的拉格朗日流形蒙特卡罗

    本文提出一种新型的利用 Monge patch 嵌入为高维欧几里得空间，并采用由直接几何推理确定的诱导度量的可替代性黎曼度量，该度量仅需要一阶梯度信息和快速的逆和行列式，从而将计算迭代的复杂度从三次多项式降低到二次多项式，使得 Lagrangian Monte Carlo 在该度量下能够高效地探索目标分布。

    Feb, 2022

  • 镜像 Langevin Monte Carlo 的 Wasserstein 控制

    本研究主要探讨了在 Hessian 型流形上的 Langevin 扩散过程与镜像下降的关系，运用该理论推导出了 Hessian Riemannian Langevin Monte Carlo 算法的非渐进抽样误差上限并证明了其适用性。

    Feb, 2020

  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018

  • 黎曼流形哈密顿蒙特卡罗

    研究了一种基于 Riemann 流形的 Hamiltonian Monte Carlo 采样算法，通过自适应方法规避了调整提议密度的需求，使得即使在高维状态空间建模中，也能更加高效地采样，该方法在众多实证分析中表现出较大的优越性，Matlab 代码在 http://www.dcs.gla.ac.uk/inference/rmhmc 可复现。

    Jul, 2009

  • Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

    研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。

    Jul, 2020

  • 基于李群的动力 Langevin Monte Carlo 的收敛性

    基于动量的动力学方法的优化与采样机制的研究，其中涉及 Lie 群、变分优化、动量动力学与采样动力学，以及基于动量的动力学方法在曲面上的收敛性研究。

    Mar, 2024

  • 黎曼哈密顿蒙特卡罗的收敛速率和更快的多面体体积计算

    Riemannian Hamiltonian Monte Carlo 在流形上的收敛性以及在流形上采样问题和计算体积问题中的应用。

    Oct, 2017

  • 标准分裂算法用于高维欠阻尼 Langevin 扩散的 MCMC

    本研究探讨了基于欠阻尼 Langevin 扰动的 Markov 链采样器在具有凸平滑势能的高维目标中的效率。研究人员使用一个经典的二阶积分器，每次迭代只需要计算一次梯度，并证明了离散时间链本身的沃舍斯坦距离的无尺度压缩和总变差距离的收敛率与维度无关。同时还得到了 Metropolis 调整链和未调整链的非渐进沃舍斯坦和总变差的效率界以及浓度不等式。 特别地，对于未调整链，无论在一般情况下、势函数海森斯的 Lipschitz 情况下还是可分离目标的情况下，沃舍斯坦效率界都是 $\sqrt d/\varepsilon$，与其他动态 Langevin 或 HMC 方案的已知结果相符合。

    Jul, 2020

  • 欠阻尼 Langevin 马尔可夫链蒙特卡罗方法：非渐近分析

    该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上，并提出了基于该扩散的 MCMC 算法，证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε)，超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数，该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。

    Jul, 2017

  • Langevin MCMC 在 KL 散度下的收敛性

    研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。

    May, 2017