通过离散化 Langevin MCMC 的 Rényi 散度分析加速差分隐私采样器
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
提供严格多项式时间的离散算法,用于近似分类数据集的直方图,同时保留与拉普拉斯机制相同的(纯)差分隐私保证,并基于受限离散计算模型,避免了基于实际算术的不同隐私算法攻击实现的可能性。
Sep, 2017
本文介绍了一个基于指数机制和加正则化项的方法,用于解决凸函数私人优化问题,并证明了其满足 Differential Privacy 和 Gaussian Differential Privacy,同时提出了实现这种机制的方法及其采样器
Mar, 2022
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定,假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率,我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配,结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证,我们证明 Langevin MCMC 迭代在经过~O (ε^-2) 次步骤后,与 π* 之间的 Wasserstein 距离小于 ε,这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下,即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件,我们分析了 Langevin MCMC 的随机梯度版本,并将其迭代复杂性限制在~O (ε^-2) 次。
Feb, 2024
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
在这篇论文中,我们研究了应用于满足对数 Sobolev 不等式(LSI)的目标分布的先验扩散技术,证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛,并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势,并为开发更快的采样算法提供了新的见解。
Mar, 2024
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
May, 2018