本文提出了梯度基于的 Wang-Landau 采样算法,以更高效地探索神经网络的输出分布于输入空间之间的关系,实验结果在二元图像分类任务中,CNN 和 ResNet 把大多数不可识别的图片映射至负 logit 值。
Feb, 2023
该研究使用基于 Wang-Landau 抽样方法的 Monte Carlo 方法在蛋白质折叠的研究中找到了许多与低温相关的物理特性,包括能量密度状态和蛋白质分子的立体构象,为蛋白质分子折叠行为的探究提供了新的思路和方法。
Jul, 2012
我们提出了一种名为 Metropolis-adjusted Mirror Langevin 算法的新方法,用于从支持为紧凸集的分布中进行近似抽样。该算法在镜像 Langevin 算法(Zhang 等人,2020)的单步离散化所产生的马尔可夫链中添加了接受 - 拒绝过滤器,而已知的镜像 Langevin 算法的离散化具有渐近偏差。当势函数相对平滑、凸且在自共轭镜像函数上满足 Lipschitz 条件时,我们给出了所提算法的混合时间的上界。作为算法产生的马尔可夫链可逆性的结果,我们对近似抽样的误差容限得到了指数级的改善依赖。我们还进行了数值实验以验证我们的理论发现。
Dec, 2023
本文通过对 Langevin Monte Carlo 采样算法的理论背景进行分析和实验,提出了一种新的计算密度函数收敛性的 Wasserstein 距离度量方法,并进一步研究了该采样算法与梯度下降优化算法之间的关系,同时还证明了一种基于噪声梯度评估的改进算法的收敛性.
Apr, 2017
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein-2 距离下的收敛速率。我们还提供了调整的 Metropolis 和随机梯度版本的所提出的 Langevin 动力学。实验演示显示出所提出的方法在统计学和图像处理中不同模型上优于典型的 Langevin 抽样器,包括更好的 Markov 链混合性能。
Nov, 2023
使用 L - 滞后耦合生成可计算的、非渐近的上界估计来比较不同的 MCMC 算法,进一步评估了串行蒙特卡罗和自归一化重要性抽样器的偏差。
May, 2019
该论文提出了新的调整 Langevin 算法的洞见,并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。
Feb, 2018
文章研究了如何使用基于 Langevin 随机微分方程的采样方法,对高维概率分布进行采样, 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时,对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限,并提供了二分类回归的贝叶斯推断例证。
May, 2016
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012