常数条件下对数凹密度的常微分方程算法理论与采样
研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时,理想状态下的弛豫时间是 O (κ) 时,其松弛时间(谱间隙的倒数)是 O (κ),这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时,每一步需要进行 O ((κd)^0.5 (ε^-1)) 个梯度评估,总时间为 O ((κd)^1.5 (ε^-1)),并返回在 2-Wasserstein 距离内的一个 ε- 近似点。
May, 2019
本研究提出了一种基于欠阻尼 Langevin 扩散的 MCMC 算法来解决从对数凹分布中采样问题,并设计了一种新的模拟随机微分方程的框架,该框架不仅可以解决对数凹采样问题,还可以应用于任何涉及模拟(随机)微分方程的问题。
Sep, 2019
本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题,并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限,以及通过各种实验证明了建立保证的有效性。
Dec, 2014
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能,并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。
Aug, 2017
证明了通过多尺度构造和具有与 Wishart 矩阵类似的查询下界技术,可以在任何常数维度下通过块 Krylov 算法最优地采样具有强对数凹和对数平滑分布的分布,同时连接到高斯分布的具有误差的查询下界。
Apr, 2023
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法, 分析了基于过渡态随机游走的近似采样方法,并提出了几种保证误差的方法, 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况, 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。
Sep, 2017
该研究论文讨论了如何使用结构化的 logconcave 样本算法来采样复合密度和 logconcave 有限和,使用近端点方法启发的降维框架来改善问题条件的相关性,并提出了一种获取大量梯度查询乘数的简单算法。
Oct, 2020
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017