对数拉普拉斯变换的算法特征及非欧几里得近端采样器
该研究提出了一种新的算法 SPLA 用于从对数凸分布中采样,该算法是 Langevin 算法的推广,能够实现平滑项和非平滑项的随机操作,并在光滑项凸性和强凸性下建立非渐近次线性和线性收敛率,从而提高了贝叶斯学习任务的效率。
May, 2019
通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题,该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设,通过引入一种与目标分布的增长和衰减特性相关的驯服方案,提供了关于 Kullback-Leibler(KL)散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。
May, 2024
本文考虑了具有非光滑目标函数和具有非光滑潜势(负对数密度)的凸优化和对数凹取样问题,并研究了两个特定的设置,其中凸目标 / 潜势函数可以是半光滑的,也可以是复合形式,作为半光滑分量的有限和。为了克服非光滑性带来的挑战,我们的算法在优化和取样上使用了两种强大的近端框架:优化的近端点框架和使用增广分布上的 Gibbs 取样的交替取样框架(ASF)。优化和取样算法的关键组成部分是通过正则化割平面法对近端映射的高效实现。我们在半光滑和复合的两种情况下建立了近端映射的迭代复杂性。此外,我们还提出了一种适应性近端捆绑法用于非光滑优化。该方法是通用的,因为它不需要任何问题参数作为输入。此外,我们开发了一个类似于优化中近端映射的近端取样预测器,并使用一种新颖的技术(改进的高斯积分)建立了其复杂性。最后,我们将这个近端取样预测器和 ASF 结合起来,得到了一个在半光滑和复合设置中具有非渐近复杂性界限的马尔可夫链蒙特卡洛方法用于取样。
Apr, 2024
本文研究基于对数凹概率分布的采样任务,首先建立了该最小化问题的强对偶结果,然后使用该结果研究了投影 Langevin 算法的复杂度,结果表明 Proximal Stochastic Gradient Langevin 算法的复杂度优于 Projected Langevin 算法,尤其是目标分布为强凸时。
Jun, 2020
提出了一个支持各种投影选项的通用近端框架,基于凸紧致支撑体上定义的强对数凹分布进行采样,并与多种采样方法无缝集成,主要研究集中在约束采样的 Langevin 型采样算法,提供了 W1 和 W2 误差的非渐进上界,详细比较了这些方法在约束采样中的性能。
May, 2024
该论文研究 Proximal Langevin Algorithm 在满足 log-Sobolev inequality 的条件下从概率分布中采样的收敛性,证明了该算法在 Kullback-Leibler divergence 下具有更优异的收敛速度,在 Renyi divergence 下也具有收敛性。
Nov, 2019
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题,并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限,以及通过各种实验证明了建立保证的有效性。
Dec, 2014
该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA),利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本,可应用于高维、不连续可微分的密度分布,在图像处理和机器学习领域有重要应用价值。
Jun, 2013