Jan, 2024

基于扩散的蒙特卡洛方法实现更快的采样

PDF
TL;DR通过逆扩散过程进行采样的 RS-DMC 算法，利用新颖的递归评分估计方法，设计高效的算法来解决 Diffusion-based Monte Carlo 中高梯度复杂度问题，并在常用耗散条件下证明其比常用 Langevin-based 算法速度更快，为解决采样问题提供了新的方向。
diffusion-based monte carloreverse diffusionscore estimationrs-dmclangevin-based samplers
发现论文，激发创造
  • 一种反扩散方法的蒙特卡洛抽样

    本研究探讨了通过反向扩散的后验采样潜力，提供了一种新的后验采样算法，其可有效解决高维采样问题，并提供了收敛分析和性能验证。

    Jul, 2023

  • 非对数凹分布的零阶采样方法：通过去噪扩散缓解亚稳定性

    非对数凹分布下的采样问题中，提出了一种基于非归一化密度查询的采样方法，通过模拟去噪扩散过程以及用通用蒙特卡罗估计器逼近其评分函数，构建了 Diffusion Monte Carlo (DMC) 框架。进一步，通过拒绝采样实现 DMC 的 oracle，形成真正的算法 Zeroth-Order Diffusion Monte Carlo (ZOD-MC)。在不假设目标分布为对数凹或满足任何等面积不等式的情况下，提供了 DMC 的收敛性分析。证明了 ZOD-MC 具有与所需采样精度的反多项式依赖关系，但仍然受到维度诅咒的影响。因此，在低维度分布中，ZOD-MC 是一种高效的采样器，其性能超越了最新的采样器，包括基于去噪扩散的 RDMC 和 RS-DMC。最后，实验证明 ZOD-MC 对于模态之间的高屏障或非凸势能的不连续性具有不敏感性。

    Feb, 2024

  • 加速基于得分的扩散模型的收敛性证明

    设计了加速常见确定性和随机抽样算法的训练免费算法，加速度确定性和随机抽样器的汇率超过 DDIM 和 DDPM 抽样器的速度。

    Mar, 2024

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023

  • 随机梯度分段确定性蒙特卡罗采样器

    通过近似模拟带有子抽样的分段确定性马尔可夫过程（PDMPs）的方法，可以从后验分布中进行可扩展的抽样。这种方法的效率类似于随机梯度 Langevin 动力学，但更为稳健。

    Jun, 2024

  • 一种不可逆 Langevin 采样器和方差缩减技术：基于大偏差方法

    本文主要研究在给定的目标分布下如何通过构造一个遍历的 Markov 过程来进行蒙特卡罗抽样，通过添加非可逆漂移可以改善抽样性能，其中大偏差率函数被用作分析收敛速度的工具。实验证明添加不可逆的漂移可以缩短遍历平均数的收敛速度并减少渐近方差。

    Apr, 2014

  • SciRE-Solver: 基于得分积分器和递归导数估计的扩散概率模型高效采样

    提出了一种适用于扩散概率模型的高效取样器，通过引入分数积分解算器和递归导数估计方法，实现了具有收敛性保证的高效取样算法，与现有的无需预训练的取样算法相比，在离散时间和连续时间的扩散概率模型上取得了最先进的取样性能。

    Aug, 2023

  • 基于随机中点的更快扩散采样：连续和并行

    近年来，在扩散模型的离散化界限方面出现了浓厚的兴趣，本文提出了一种新的受 Shen 和 Lee 随机中点方法启发的扩散模型离散化方案，证明了该方法在从任意平滑分布中进行采样的维度依赖方面达到了已知最佳结果，同时还展示了可以将算法并行化以实现更快速的采样。

    Jun, 2024

  • Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

    研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。

    Jul, 2020

  • 通过预测校正改进基于分数的扩散模型的收敛性

    本文研究基于分数的生成模型（SGMs）中遇到的向后过程收敛性问题，提出了基于预测校正方案的近似 Langevin 动力学方法，并在有限时间内提供了 Wassertein 距离的收敛保证。

    May, 2023