随机中点法用于对数凹采样
本文针对具有强烈对数凹密度的平滑目标分布的采样问题进行探究,借助随机中点离散化方法,建立可计算的 Wasserstein-2 误差的上界,并基于中点离散化的 Langevin 扩散过程进行分析以明确其基本原理和提供有价值的见解,进而建立起更改进的上界以改进 Euler 离散化的 Langevin 扩散过程。
Jun, 2023
该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上,并提出了基于该扩散的 MCMC 算法,证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε),超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数,该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。
Jul, 2017
通过投影步骤(与投影随机梯度下降类似),我们将 Langevin Monte Carlo(LMC)算法扩展到紧支持测度。我们的主要结果特别表明,当目标分布是均匀分布时,LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明,LMC 的表现至少与 hit-and-run 相当,而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。
Jul, 2015
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
本文提出了一种近似线性的多元常微分方程算法,用于解决样本采集问题,特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数,拥有多项式对数深度。
Dec, 2018
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法, 分析了基于过渡态随机游走的近似采样方法,并提出了几种保证误差的方法, 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况, 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。
Sep, 2017
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
May, 2018
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
研究通过并行计算梯度的对数密度的采样问题,重点关注具有光滑和强对数凹函数密度特征的目标分布,在分析其纯顺序版本的证明技术的基础上重新考虑了并行随机中点方法,并利用这些技术导出了采样和目标密度之间的 Wasserstein 距离上界,这些上界量化了利用并行处理单元所实现的运行时改进,这可以是相当大的。
Feb, 2024
研究了如何从强对数凹密度分布中进行采样,并证明了使用 Metropolis-adjusted Langevin 算法(MALA)混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法(ULA)相比,使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外,我们提供了一些数字例子来支持我们的理论发现,并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。
Jan, 2018