Feb, 2024

非对数凹分布的零阶采样方法：通过去噪扩散缓解亚稳定性

PDF
TL;DR非对数凹分布下的采样问题中，提出了一种基于非归一化密度查询的采样方法，通过模拟去噪扩散过程以及用通用蒙特卡罗估计器逼近其评分函数，构建了 Diffusion Monte Carlo (DMC) 框架。进一步，通过拒绝采样实现 DMC 的 oracle，形成真正的算法 Zeroth-Order Diffusion Monte Carlo (ZOD-MC)。在不假设目标分布为对数凹或满足任何等面积不等式的情况下，提供了 DMC 的收敛性分析。证明了 ZOD-MC 具有与所需采样精度的反多项式依赖关系，但仍然受到维度诅咒的影响。因此，在低维度分布中，ZOD-MC 是一种高效的采样器，其性能超越了最新的采样器，包括基于去噪扩散的 RDMC 和 RS-DMC。最后，实验证明 ZOD-MC 对于模态之间的高屏障或非凸势能的不连续性具有不敏感性。
non-logconcave distributiondiffusion monte carlozeroth-order diffusion monte carloconvergence analysescurse of dimensionality
发现论文，激发创造
  • 基于扩散的蒙特卡洛方法实现更快的采样

    通过逆扩散过程进行采样的 RS-DMC 算法，利用新颖的递归评分估计方法，设计高效的算法来解决 Diffusion-based Monte Carlo 中高梯度复杂度问题，并在常用耗散条件下证明其比常用 Langevin-based 算法速度更快，为解决采样问题提供了新的方向。

    Jan, 2024

  • 非对数凹和非光滑采样的 Langevin Monte Carlo 算法

    该论文研究了近似采样的问题，特别是非对数凹分布的问题，提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法，并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。

    May, 2023

  • 常数条件下对数凹密度的常微分方程算法理论与采样

    本文提出了一种近似线性的多元常微分方程算法，用于解决样本采集问题，特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数，拥有多项式对数深度。

    Dec, 2018

  • 随机中点法用于对数凹采样

    本研究提出了一种基于欠阻尼 Langevin 扩散的 MCMC 算法来解决从对数凹分布中采样问题，并设计了一种新的模拟随机微分方程的框架，该框架不仅可以解决对数凹采样问题，还可以应用于任何涉及模拟（随机）微分方程的问题。

    Sep, 2019

  • 基于 Metropolis 抽样的约束扩散模型

    本文介绍了一种基于 Metropolis 抽样算法的简单去噪方案，证明了该新方法对应于反射布朗运动的有效离散化方法，并在包括地理空间建模、机器人技术和蛋白质设计在内的一系列问题设置上展示了我们方法的可扩展性和灵活性。

    Jul, 2023

  • 基于随机中点的更快扩散采样：连续和并行

    近年来，在扩散模型的离散化界限方面出现了浓厚的兴趣，本文提出了一种新的受 Shen 和 Lee 随机中点方法启发的扩散模型离散化方案，证明了该方法在从任意平滑分布中进行采样的维度依赖方面达到了已知最佳结果，同时还展示了可以将算法并行化以实现更快速的采样。

    Jun, 2024

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023

  • 欠阻尼 Langevin 马尔可夫链蒙特卡罗方法：非渐近分析

    该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上，并提出了基于该扩散的 MCMC 算法，证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε)，超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数，该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。

    Jul, 2017

  • 一种反扩散方法的蒙特卡洛抽样

    本研究探讨了通过反向扩散的后验采样潜力，提供了一种新的后验采样算法，其可有效解决高维采样问题，并提供了收敛分析和性能验证。

    Jul, 2023

  • 离散时间扩散模型的非渐近收敛：新方法和改进速率

    去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

    Feb, 2024