May, 2016

基于未调整 Langevin 算法的高维贝叶斯推断

PDF
TL;DR文章研究了如何使用基于 Langevin 随机微分方程的采样方法，对高维概率分布进行采样， 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时，对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限，并提供了二分类回归的贝叶斯推断例证。
samplingprobability distributionlangevin stochastic differential equationwasserstein distancebayesian inference
发现论文，激发创造
  • 非渐进式 Langevin 算法的收敛分析

    研究了一种基于欧拉离散化的采样方法来逼近正态化后的概率密度相对于勒贝格度量的目标分布，通过分析欧拉离散化中步长的变化，获得了总变异距离下的收敛界限，并着重介绍了该方法在高维情况下的应用及维度依赖性，扩展了 Dalalyan 2014 的结果。

    Jul, 2015

  • 可控的不调整 Langevin 算法

    文章考虑了如何从一个概率密度已知但缺乏归一化常量的概率分布中随机采样，提出了 Tamed Unadjusted Langevin Algorithm (TULA) 算法，并在文章中进行了理论证明和数值实验支持。

    Oct, 2017

  • 未调和 Langevin 算法的快速收敛性：等周性足矣

    研究使用未调整朗之万算法（ULA）从定义在 R^n 上的概率分布 ν=e^-f 中进行采样，并在 KL 散度上证明收敛保证，假设 ν 满足对数 Sobolev 不等式且 f 的黑塞矩阵有界，通过 R'enyi 距离的保证证明 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式，同时，通过不要求等周性来限制 f 的三阶平滑度，从而证明了 ULA 极限分布的偏差界限。

    Mar, 2019

  • 通过凸优化分析 Langevin Monte Carlo

    该论文提出了新的调整 Langevin 算法的洞见，并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。

    Feb, 2018

  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018

  • 弱条件下的驯服 Langevin 采样

    通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题，该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设，通过引入一种与目标分布的增长和衰减特性相关的驯服方案，提供了关于 Kullback-Leibler（KL）散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。

    May, 2024

  • 在测度空间中的优化抽样：Langevin 动力学作为一个复合优化问题

    该研究以 Langevin 动力学为例，探究基于梯度流的优化过程中的采样问题，提出了一种降低偏差的新算法 SLA，并证明了在高斯目标测度下它具有一致性。

    Feb, 2018

  • Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

    研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。

    Jul, 2020

  • Langevin 算法在嘈杂高维推断中的奇妙与陷阱

    该研究针对噪声高维推理问题，通过对比 Langevin 算法和 AMP 算法的表现，发现 Langevin 算法的阈值不如 AMP 算法，并猜测这是由于该参数区域中存在残留玻璃态，最后还介绍了一种使用 Langevin 算法的景观退火协议，可以接近 AMP 的性能。

    Dec, 2018

  • 高维 Langevin 算法的最优比例缩放和扩散极限

    本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率，证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快，并可以探索不变量的度量，所需步数是其 $N$ 维逼近的第 $1/3$ 倍，适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。

    Mar, 2011