非渐进式 Langevin 算法的收敛分析
文章研究了如何使用基于 Langevin 随机微分方程的采样方法,对高维概率分布进行采样, 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时,对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限,并提供了二分类回归的贝叶斯推断例证。
May, 2016
文章考虑了如何从一个概率密度已知但缺乏归一化常量的概率分布中随机采样,提出了 Tamed Unadjusted Langevin Algorithm (TULA) 算法,并在文章中进行了理论证明和数值实验支持。
Oct, 2017
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
May, 2018
研究使用未调整朗之万算法(ULA)从定义在 R^n 上的概率分布 ν=e^-f 中进行采样,并在 KL 散度上证明收敛保证,假设 ν 满足对数 Sobolev 不等式且 f 的黑塞矩阵有界,通过 R'enyi 距离的保证证明 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式,同时,通过不要求等周性来限制 f 的三阶平滑度,从而证明了 ULA 极限分布的偏差界限。
Mar, 2019
通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题,该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设,通过引入一种与目标分布的增长和衰减特性相关的驯服方案,提供了关于 Kullback-Leibler(KL)散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。
May, 2024
该论文提出了新的调整 Langevin 算法的洞见,并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。
Feb, 2018
本文研究了基于分 discretizing 类 - Wasserstein 倍数收缩的平滑随机微分取样算法,着重研究了用随机 Runge-Kutta 方法离散过度阻尼 Langevin 方程的取样算法,并表明其迭代次数可达到目标分布的 $2$-Wasserstein 距离,并将分析扩展到具有可能非凸势能的一般扩散过程。
Jun, 2019
通过对 Euler-Maruyama 离散化的 Langevin 扩散进行改进的分析,我们在时间范围上取得了多项式依赖。该结果匹配了数值 SDE 的正确顺序,并可同时改进基于 Dalayan 方法的所有基于采样和学习的算法。
Jul, 2019
研究了从受限分布中采样的问题,提出了一种统一的框架来导出新的一阶采样方案,并应用于 Dirichlet posteriors 中,证明了第一阶算法实现了收敛性,最后在真实数据集上报告了有希望的实验结果。
Feb, 2018
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020