Jun, 2023

非对数凹分布的 MCMC 算法快速条件混合

PDF
TL;DR本文研究 MCMC 算法的 mixing rate 问题，并根据 Poincaré inequality 定理，展示 MCMC 算法在 state space 的 subset 上的条件概率分布上快速逼近真实条件分布的能力，进而探讨该理论在高斯混合模型采样和 Gibbs 采样中的应用。
mcmc algorithmsmixing ratepoincaré inequalityconditional distributiongibbs sampling
发现论文，激发创造
  • 在强对数凹分布上快速混合的哈密尔顿蒙特卡罗算法

    本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能，并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。

    Aug, 2017

  • 非对数凹和非光滑采样的 Langevin Monte Carlo 算法

    该论文研究了近似采样的问题，特别是非对数凹分布的问题，提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法，并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。

    May, 2023

  • 对数凹马尔可夫链链

    本文介绍一种采用各向同性高斯平滑处理的框架来解决高维 Markov 链蒙特卡罗采样中存在的难题，通过对具有对数凹的密度下的条件密度进行采样来实现，同时以最小历史方式保持跟踪样本历史， 将采样算法推广到了步行跳跃采样，并通过与其他 Langevin MCMC 算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的 “隧道” 传输能力。

    May, 2023

  • 光滑和对数凹密度的近似采样的理论保证

    本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题，并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限，以及通过各种实验证明了建立保证的有效性。

    Dec, 2014

  • 超越对数凹性：使用模拟淬火 Langevin Monte Carlo 取样多峰分布的可证明保障

    研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链，能够在考虑温度的情况下从多种形式的分布中进行快速采样。

    Oct, 2017

  • 使用投影 Langevin 蒙特卡洛采样对数凹分布

    通过投影步骤（与投影随机梯度下降类似），我们将 Langevin Monte Carlo（LMC）算法扩展到紧支持测度。我们的主要结果特别表明，当目标分布是均匀分布时，LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明，LMC 的表现至少与 hit-and-run 相当，而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。

    Jul, 2015

  • 非对数凹分布的随机量子取样与分割函数估计

    我们提出了量子算法用于从非对数凹概率分布中采样，同时解决了求解大数据集中混合模型和多稳定系统时计算代价昂贵的函数评估问题。我们的量子算法在维度和精度依赖方面相对于已知的最佳经典算法展示了多项式加速。

    Oct, 2023

  • 对数凹采样：Metropolis-Hastings 算法速度快

    研究了如何从强对数凹密度分布中进行采样，并证明了使用 Metropolis-adjusted Langevin 算法（MALA）混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法（ULA）相比，使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外，我们提供了一些数字例子来支持我们的理论发现，并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。

    Jan, 2018

  • 常数条件下对数凹密度的常微分方程算法理论与采样

    本文提出了一种近似线性的多元常微分方程算法，用于解决样本采集问题，特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数，拥有多项式对数深度。

    Dec, 2018

  • 使用远离 Langevin 蒙特卡罗算法从具有紧支撑的对数凹分布中抽样

    本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析，该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程，建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限，并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后，我们提供了一些数值实验，与文献中的竞争 MCMC 方法进行比较。

    May, 2017