扩散模型求解逆问题的变分视角

May, 2023

A Variational Perspective on Solving Inverse Problems with Diffusion Models

Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat

TL;DR本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题，通过在不同时间步引入不同的去噪器来实现对图像结构的约束，进而提高扩散模型在图像修复等领域的应用性能。

Abstract

diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as in

diffusion models variational approach denoising diffusion process regularization image restoration

发现论文，激发创造

扩散后验采样用于一般噪声反问题

本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法，该方法利用后验采样实现扩散采样和流形约束梯度融合，并适用于各种噪声统计和非线性问题，代码公开。

Sep, 2022

释放扩散先验的去噪能力以解决逆问题

通过引入辅助优化变量，利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务，该算法称为 ProjDiff，有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中，ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能，凸显其在实际应用中的潜力。

Jun, 2024

利用前向模型的扩散：无需直接监督解决随机逆问题

本文提出了一种基于去噪扩散概率模型的条件生成模型，通过把一个已知的、可求导的正向模型集成到去噪过程中，实现了间接观测信号的采样，并在三项具有挑战性的计算机视觉任务中进行了验证。

Jun, 2023

条件变分扩散模型

逆问题研究中的生成模型，特别是扩散模型，对于确定参数具有重要作用。然而，扩散模型对方差调度的选择非常敏感，我们提出了一种新的方法，通过学习过程中训练方差调度，避免了费时的优化过程并得到更好的结果。

Dec, 2023

扩散变分推断：扩散模型作为表达丰富的变分先验

我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

Jan, 2024

去噪扩散恢复模型

本文提出了一种基于先前针对噪声扩散的生成模型的方法 DDPM，用于解决各种图像恢复问题，包括超分辨率，去模糊，填补和上色，相比于现有的非监督方法，DDRM 在重构质量，感知质量和运行时均表现出更好的性能。

Jan, 2022

基于扩散模型的原则性概率成像使用即插即用的先验

采用扩散模型和马尔可夫链 - 蒙特卡洛算法解决反问题，通过降低到高斯去噪问题的后验采样，有效地实现了更准确的重建和后验估计。

May, 2024

DDGM: 基于扩散去噪的梯度最小化求解反问题

该论文提出了一种基于梯度下降与降噪相结合的噪声重建方法，可以高精度地重建电子显微学的层析成像问题，结果表明相对于传统方法和更复杂的扩散方法，该方法具有更高的精度和更快的计算速度。

Jul, 2023

视觉中的扩散模型：一项调研

本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

Sep, 2022

图像恢复的扩散后验近端采样

本文介绍了一种通过扩展扩散模型进行图像修复的新方法，该方法利用生成过程中与测量身份一致的样本，并结合测量信号与初始化信息来提高生成过程的效果。实验证明了该方法在不同的图像修复任务中的有效性。

Feb, 2024