Dec, 2016

当 Langevin 遇上 Moreau：通过近端马尔可夫链蒙特卡罗方法实现高效贝叶斯计算

PDF
TL;DR本文介绍了一种新的高效的马尔可夫链蒙特卡洛方法，以执行贝叶斯计算。该方法基于正则化的未调整 Langevin 算法，利用凸分析工具构建具有良好收敛性质的马尔可夫链，扩展了当前采用 Proximal 优化算法解决的模型，并在图像去卷积和断层重建等四个实验中进行了演示和验证。
bayesian inference techniquesconvex optimizationmarkov chain monte carlolog-concave and non-smooth modelsimage uncertainty quantification
发现论文，激发创造
  • 松弛近端点 Langevin 采样加速贝叶斯成像

    提出了一种新的加速近端马尔可夫链蒙特卡洛方法，用于在具有凸几何的图像反问题中进行贝叶斯推断。该方法采用随机松弛近端点迭代的形式，对模型进行了平滑处理或通过 Moreau-Yosida 平滑进行正则化的情况下，该算法等效于针对感兴趣的后验分布的一个过阻尼的朗之万扩散的隐式中点离散化，对于高斯目标渐近无偏，对于任何需要大约√κ 次迭代收敛的目标（类似于加速优化方案），其收敛速度更快，并且比仅对高斯目标进行可证明加速且具有偏差的方法更有优势。对于非平滑模型，该算法等效于针对感兴趣的后验分布的 Moreau-Yosida 逼近的朗之万扩散的 Leimkuhler-Matthews 离散化，因此比基于 Euler-Maruyama 离散化的传统未调整的朗之万策略具有显著更低的偏差。对于 κ- 强对数凹目标，所提供的非渐近收敛分析还确定了最大化收敛速度的最佳时间步长。通过与高斯和泊松噪声相关的一系列实验以及基于假设驱动和数据驱动的凸先验，验证了所提出的方法论。

    Aug, 2023

  • 近端马尔可夫链蒙特卡罗算法

    该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA)，利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本，可应用于高维、不连续可微分的密度分布，在图像处理和机器学习领域有重要应用价值。

    Jun, 2013

  • 使用远离 Langevin 蒙特卡罗算法从具有紧支撑的对数凹分布中抽样

    本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析，该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程，建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限，并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后，我们提供了一些数值实验，与文献中的竞争 MCMC 方法进行比较。

    May, 2017

  • 随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

    本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

    May, 2023

  • Bregman--Moreau 包络下的 Bregman 近端 Langevin Monte Carlo

    该研究提出了基于 Langevin Monte Carlo 的高效采样算法，针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展，并将 Langevin Monte Carlo 算法延伸到与镜像下降相关的非光滑分布采样和 Bregman - Moreau 包络的更一般使用。

    Jul, 2022

  • 非对数凹和非光滑采样的 Langevin Monte Carlo 算法

    该论文研究了近似采样的问题，特别是非对数凹分布的问题，提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法，并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。

    May, 2023

  • 提高高维贝叶斯优化中的样本效率与 MCMC

    基于马尔可夫链蒙特卡罗方法，我们提出了一种新的算法来从近似后验中高效采样，该算法在高维度的顺序优化中表现优于现有方法。

    Jan, 2024

  • Metropolis-adjusted Langevin 算法的非凸采样

    本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

    Feb, 2019

  • 对数凹马尔可夫链链

    本文介绍一种采用各向同性高斯平滑处理的框架来解决高维 Markov 链蒙特卡罗采样中存在的难题，通过对具有对数凹的密度下的条件密度进行采样来实现，同时以最小历史方式保持跟踪样本历史， 将采样算法推广到了步行跳跃采样，并通过与其他 Langevin MCMC 算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的 “隧道” 传输能力。

    May, 2023

  • 贝叶斯成像方法报告可信的概率吗？

    这篇文章利用蒙特卡罗方法研究了现有的贝叶斯成像方法在重复实验中的概率结果是否具有可靠性，在探索了五种典型的贝叶斯成像策略后发现，现有方法通常不能提供可靠的不确定性量化结果。

    May, 2024