在测度空间中的优化抽样:Langevin 动力学作为一个复合优化问题
文章研究了如何使用基于 Langevin 随机微分方程的采样方法,对高维概率分布进行采样, 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时,对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限,并提供了二分类回归的贝叶斯推断例证。
May, 2016
本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率,证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快,并可以探索不变量的度量,所需步数是其 $N$ 维逼近的第 $1/3$ 倍,适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。
Mar, 2011
该论文提出了新的调整 Langevin 算法的洞见,并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。
Feb, 2018
通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题,该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设,通过引入一种与目标分布的增长和衰减特性相关的驯服方案,提供了关于 Kullback-Leibler(KL)散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。
May, 2024
研究使用未调整朗之万算法(ULA)从定义在 R^n 上的概率分布 ν=e^-f 中进行采样,并在 KL 散度上证明收敛保证,假设 ν 满足对数 Sobolev 不等式且 f 的黑塞矩阵有界,通过 R'enyi 距离的保证证明 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式,同时,通过不要求等周性来限制 f 的三阶平滑度,从而证明了 ULA 极限分布的偏差界限。
Mar, 2019
我们提出了离散 Langevin proposal (DLP) 算法,这是一种针对复杂高维离散分布的简单且可扩展的基于梯度的采样算法,相比于基于 Gibbs 采样的方法,DLP 可以同时并行地更新所有坐标,通过步长控制变化的大小,使在高维空间中强相关变量之间的探索更加廉价和高效,在测试中证明了 DLP 的有效性。
Jun, 2022
在这篇论文中,我们研究了应用于满足对数 Sobolev 不等式(LSI)的目标分布的先验扩散技术,证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛,并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势,并为开发更快的采样算法提供了新的见解。
Mar, 2024
文章考虑了如何从一个概率密度已知但缺乏归一化常量的概率分布中随机采样,提出了 Tamed Unadjusted Langevin Algorithm (TULA) 算法,并在文章中进行了理论证明和数值实验支持。
Oct, 2017
本文通过对 Langevin Monte Carlo 采样算法的理论背景进行分析和实验,提出了一种新的计算密度函数收敛性的 Wasserstein 距离度量方法,并进一步研究了该采样算法与梯度下降优化算法之间的关系,同时还证明了一种基于噪声梯度评估的改进算法的收敛性.
Apr, 2017
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein-2 距离下的收敛速率。我们还提供了调整的 Metropolis 和随机梯度版本的所提出的 Langevin 动力学。实验演示显示出所提出的方法在统计学和图像处理中不同模型上优于典型的 Langevin 抽样器,包括更好的 Markov 链混合性能。
Nov, 2023