MMJul, 2020

Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

PDF
TL;DR研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。
langevin monte carlo algorithmlogarithmic sobolev constantchi-squared divergencerenyi divergencepotential function
发现论文，激发创造
  • Langevin Monte Carlo 的收敛性：尾部增长和平滑性的相互作用

    研究了从目标分布采样的 Langevin Monte Carlo 算法及其在 KL 散度方面的收敛速度，该收敛速度与函数潜力的尾部增长率无关，仅依赖于平滑性的顺序，并且允许具有中度尾部增长的广泛潜力类。

    May, 2020

  • Langevin MCMC 在 KL 散度下的收敛性

    研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。

    May, 2017

  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018

  • Langevin Monte Carlo 与不准确梯度的用户友好保证

    本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。

    Sep, 2017

  • 非光滑 Langevin Monte Carlo

    本文提出了一种基于 Langevin Monte Carlo 算法的分布采样方法，它可以在非光滑的对数凹分布下提供多项式时间收敛保证，并通过控制高斯扰动的偏差和方差来实现。

    May, 2019

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019

  • 使用运动朗之万扩散从对数凹密度中采样

    使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样，本文主要研究了这个框架，并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量，进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下，使用新的离散化方法可以显著提高采样误差的上界。

    Jul, 2018

  • 通过 Langevin MCMC 在 Riemann 流形上进行高效采样

    通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务，我们提出了一种在实践中可实现的算法，该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定，假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率，我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配，结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证，我们证明 Langevin MCMC 迭代在经过～O (ε^-2) 次步骤后，与 π* 之间的 Wasserstein 距离小于 ε，这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下，即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件，我们分析了 Langevin MCMC 的随机梯度版本，并将其迭代复杂性限制在～O (ε^-2) 次。

    Feb, 2024

  • 通过离散化 Langevin MCMC 的 Rényi 散度分析加速差分隐私采样器

    本文旨在通过使用从 Rényi 距离获得收敛速度的 Langevin 动态算法，给出 Differentially Private 算法的快速实现方法，特别是对于平滑，强凸 f 的情况。

    Oct, 2020

  • 基于未调整 Langevin 算法的高维贝叶斯推断

    文章研究了如何使用基于 Langevin 随机微分方程的采样方法，对高维概率分布进行采样， 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时，对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限，并提供了二分类回归的贝叶斯推断例证。

    May, 2016