近端 Langevin 算法:等周条件下的快速收敛
研究使用未调整朗之万算法(ULA)从定义在 R^n 上的概率分布 ν=e^-f 中进行采样,并在 KL 散度上证明收敛保证,假设 ν 满足对数 Sobolev 不等式且 f 的黑塞矩阵有界,通过 R'enyi 距离的保证证明 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式,同时,通过不要求等周性来限制 f 的三阶平滑度,从而证明了 ULA 极限分布的偏差界限。
Mar, 2019
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间,发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu^2\log (1/\epsilon))$。
Apr, 2023
该研究提出了一种新的算法 SPLA 用于从对数凸分布中采样,该算法是 Langevin 算法的推广,能够实现平滑项和非平滑项的随机操作,并在光滑项凸性和强凸性下建立非渐近次线性和线性收敛率,从而提高了贝叶斯学习任务的效率。
May, 2019
基于 Langevin 扩散,提出一种新算法,在球面乘积流形上进行非凸优化和采样,并与 Burer-Monteiro 方法一起,应用于求解具有对角限制的半定规划问题。该算法在有限次迭代中生成 Gibbs 分布,并在 Kullback–Leibler 散度中保证渐进精度,其迭代次数呈多项式级别增长。与结果相结合,我们提供了全局最优性性保证,即使是存在鞍点和局部最小值的问题,算法仍能近似于全局最优解。
Oct, 2020
文章研究了如何使用基于 Langevin 随机微分方程的采样方法,对高维概率分布进行采样, 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时,对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限,并提供了二分类回归的贝叶斯推断例证。
May, 2016
本文研究基于对数凹概率分布的采样任务,首先建立了该最小化问题的强对偶结果,然后使用该结果研究了投影 Langevin 算法的复杂度,结果表明 Proximal Stochastic Gradient Langevin 算法的复杂度优于 Projected Langevin 算法,尤其是目标分布为强凸时。
Jun, 2020
提出了一种新的加速近端马尔可夫链蒙特卡洛方法,用于在具有凸几何的图像反问题中进行贝叶斯推断。该方法采用随机松弛近端点迭代的形式,对模型进行了平滑处理或通过 Moreau-Yosida 平滑进行正则化的情况下,该算法等效于针对感兴趣的后验分布的一个过阻尼的朗之万扩散的隐式中点离散化,对于高斯目标渐近无偏,对于任何需要大约√κ 次迭代收敛的目标(类似于加速优化方案),其收敛速度更快,并且比仅对高斯目标进行可证明加速且具有偏差的方法更有优势。对于非平滑模型,该算法等效于针对感兴趣的后验分布的 Moreau-Yosida 逼近的朗之万扩散的 Leimkuhler-Matthews 离散化,因此比基于 Euler-Maruyama 离散化的传统未调整的朗之万策略具有显著更低的偏差。对于 κ- 强对数凹目标,所提供的非渐近收敛分析还确定了最大化收敛速度的最佳时间步长。通过与高斯和泊松噪声相关的一系列实验以及基于假设驱动和数据驱动的凸先验,验证了所提出的方法论。
Aug, 2023
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein-2 距离下的收敛速率。我们还提供了调整的 Metropolis 和随机梯度版本的所提出的 Langevin 动力学。实验演示显示出所提出的方法在统计学和图像处理中不同模型上优于典型的 Langevin 抽样器,包括更好的 Markov 链混合性能。
Nov, 2023
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017