紧支持上的对数凹采样:一个通用的近端框架
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
通过投影步骤(与投影随机梯度下降类似),我们将 Langevin Monte Carlo(LMC)算法扩展到紧支持测度。我们的主要结果特别表明,当目标分布是均匀分布时,LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明,LMC 的表现至少与 hit-and-run 相当,而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。
Jul, 2015
本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题,并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限,以及通过各种实验证明了建立保证的有效性。
Dec, 2014
该研究论文讨论了如何使用结构化的 logconcave 样本算法来采样复合密度和 logconcave 有限和,使用近端点方法启发的降维框架来改善问题条件的相关性,并提出了一种获取大量梯度查询乘数的简单算法。
Oct, 2020
本文考虑了具有非光滑目标函数和具有非光滑潜势(负对数密度)的凸优化和对数凹取样问题,并研究了两个特定的设置,其中凸目标 / 潜势函数可以是半光滑的,也可以是复合形式,作为半光滑分量的有限和。为了克服非光滑性带来的挑战,我们的算法在优化和取样上使用了两种强大的近端框架:优化的近端点框架和使用增广分布上的 Gibbs 取样的交替取样框架(ASF)。优化和取样算法的关键组成部分是通过正则化割平面法对近端映射的高效实现。我们在半光滑和复合的两种情况下建立了近端映射的迭代复杂性。此外,我们还提出了一种适应性近端捆绑法用于非光滑优化。该方法是通用的,因为它不需要任何问题参数作为输入。此外,我们开发了一个类似于优化中近端映射的近端取样预测器,并使用一种新颖的技术(改进的高斯积分)建立了其复杂性。最后,我们将这个近端取样预测器和 ASF 结合起来,得到了一个在半光滑和复合设置中具有非渐近复杂性界限的马尔可夫链蒙特卡洛方法用于取样。
Apr, 2024
本文提出了一种算法来从具有复合密度的分布中采样,这些密度由具有良好条件数的 $f$ 和凸(但可能不光滑)函数 $g$ 构成,这组密度通过受限高斯 oracle 的抽象来推广限制为凸集的约束。该算法是概念上简单的,实验表明其可显著优于 hit-and-run 算法用于采样(非对角线)高斯分布的正定方向区域限制。
Jun, 2020
我们以具有未知均值的高斯分布的抽样为动机示例,通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数,同时通过与相应的抽样估计相结合,对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果,以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
Nov, 2023
介绍了条件强对数凹模型的概念,该模型将数据分布因子化为强对数凹条件概率分布的乘积,并使用适应于数据分布的正交投影器来实现因子化,从而实现了有效的参数估计和抽样算法,并在物理字段等多个领域展示了该模型的实用性。
May, 2023
证明了通过多尺度构造和具有与 Wishart 矩阵类似的查询下界技术,可以在任何常数维度下通过块 Krylov 算法最优地采样具有强对数凹和对数平滑分布的分布,同时连接到高斯分布的具有误差的查询下界。
Apr, 2023