通过逆扩散过程进行采样的 RS-DMC 算法,利用新颖的递归评分估计方法,设计高效的算法来解决 Diffusion-based Monte Carlo 中高梯度复杂度问题,并在常用耗散条件下证明其比常用 Langevin-based 算法速度更快,为解决采样问题提供了新的方向。
Jan, 2024
评分扩散模型(SDM)提供了一种灵活的方法,用于在各种贝叶斯反问题中从后验分布中采样。本文针对线性反问题,证明了完全绕过前向映射评估,在后验样本生成中将计算任务转移到训练特定扩散式随机过程分数的离线任务上的可行性。情况下的得分,通过适当的仿射变换,可以从辅助得分得到。通过数值分析和实验验证了这一观察的普遍性。
May, 2024
本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法,该方法利用后验采样实现扩散采样和流形约束梯度融合,并适用于各种噪声统计和非线性问题,代码公开。
Sep, 2022
在这项研究中,我们介绍了一种能够在函数空间中解决贝叶斯逆问题的抽样方法,它不需要似然函数的对数凹性,可以用于非线性逆问题。该方法利用了最近定义的无限维度基于得分的扩散模型作为基于学习的先验,并通过在函数空间上定义的 Langevin 类型的 MCMC 算法实现可证明的后验采样。我们进行了一项新颖的收敛性分析,受传统正则化 - 去噪算法中建立的不动点方法的启发,并与加权模拟退火兼容。所得到的收敛界明确依赖于得分的逼近误差;良好逼近的得分对于获得良好逼近的后验至关重要。我们提供了基于样式和基于 PDE 的示例,证明了我们的收敛性分析的有效性。最后,我们讨论了学习得分和计算复杂性方面的挑战。
本文通过导出一个变分框架来推导连续时间生成扩散理论,并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。
Jun, 2021
本研究提出了一种基于 Feynman-Kac 模型和顺序蒙特卡洛方法的算法 MCGdiff,用于解决结构先验在 Score-Based 生成模型中的反问题,并在数值模拟中表现出优越性能。
Aug, 2023
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
利用去噪扩散模型(DDM)作为先验来解决逆贝叶斯问题的兴趣最近显著增加。本研究采用不同方法,利用 DDM 先验的特定结构定义了一组中间和简化的后验采样问题,相比以前的方法,降低了近似误差。我们通过使用合成示例和各种图像恢复任务来经验性地展示了我们方法的重建能力。
Mar, 2024
该研究从几何角度探讨了基于得分模型的扩散生成模型,证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案,提出了减少采样时间的方法。
Feb, 2023