逆问题中扩散模型的近似后验采样的零样本自适应
通过使用新的采样策略 Come-Closer-Diffuse-Faster (CCDF) 和现有的前馈神经网络方法相结合,本文在超分辨率、图像修补和压缩感知MRI等三个领域取得了最优的重建性能。
Dec, 2021
本文提出一种扩展扩散模型求解广泛的噪声非线性逆问题的方法,该方法利用后验采样实现扩散采样和流形约束梯度融合,并适用于各种噪声统计和非线性问题,代码公开。
Sep, 2022
提出一种名为“SSD”的新型反演流程,使用“Embryo”的概念进行前向过程,采用快捷路径,包括“输入-Embryo-输出”,在图像超分辨率、去模糊和上色等任务中实验有效性,探讨 DA 反演和反投影等一系列额外的生成一致性约束条件。与现有的 zero-shot 方法相比,只需30个NFEs就可取得竞争性的结果。
May, 2023
我们提出了第一个框架,利用预先训练好的潜在扩散模型来解决线性反问题。在理论和实验分析中,我们都展现出在各种问题中都优于先前提出的后验采样算法,包括随机修补、块修补、去噪、去模糊处理、去除条纹和超分辨率。
Jul, 2023
我们提出了一种名为“严重性编码”的新方法,通过在自编码器的潜在空间中估计噪声、退化信号的退化严重程度,从而在样本自适应推断时间、重建问题的难度上取得了显著性进展。同时,利用潜在扩散模型基于预测的退化严重程度来调整反向扩散采样轨迹,从而在维持与观测一致性的同时实现样本自适应的推断时间,与现有扩散法技术相比,我们的技术在计算效率方面有明显提升。
Sep, 2023
最新的扩散模型为嘈杂的线性反问题提供了一种无需为特定反问题重新训练的有希望的零样本解决方案。本文首次从条件抽样的逆扩散过程的条件后验均值的近似角度解释了现有的零照片方法。我们揭示了最新方法相当于对给定扩散嘈杂图像的干净图像的不可行后验分布进行各向同性高斯近似,唯一的不同在于各向同性后验协方差的手工设计。受此发现的启发,我们提出了一种基于最大似然估计的通用即插即用后验协方差优化方法,以改善最新方法。为了实现无需重新训练的最优后验协方差,我们提供了基于两种方法的通用解决方案,这两种方法专门设计用于利用具有和不具有逆协方差的预训练模型。实验结果表明,所提出的方法显著提高了最新方法的整体性能或对超参数的鲁棒性。可在此链接获取代码。
Feb, 2024
利用去噪扩散模型(DDM)作为先验来解决逆贝叶斯问题的兴趣最近显著增加。本研究采用不同方法,利用DDM先验的特定结构定义了一组中间和简化的后验采样问题,相比以前的方法,降低了近似误差。我们通过使用合成示例和各种图像恢复任务来经验性地展示了我们方法的重建能力。
Mar, 2024
构建快速采样器以进行无条件扩散和流匹配模型近期备受关注;然而,现有方法在解决超分辨率、修复或去模糊等逆问题时仍需要数百到数千次迭代步骤以获得高质量结果。我们提出了一种插拔式框架用于构建逆问题的高效采样器,只需要预先训练的扩散模型或流匹配模型。我们提出了条件共轭积分器,利用逆问题的具体形式将各自的条件扩散/流动动力学投影到更易处理的采样空间中。我们评估了所提方法在多个数据集上的各种线性图像修复任务的性能,采用了扩散和流匹配模型。尤其是在ImageNet数据集上的4倍超分辨率等具有挑战性的逆问题中,我们的方法能够在仅5个条件采样步骤中生成高质量样本,并优于需要20-1000步的竞争基准。我们的代码和模型将在此https URL公开。
May, 2024
通过解决复杂的非线性反问题,特别是在相位恢复中,我们提出了一种名为Decoupled Annealing Posterior Sampling(DAPS)的新方法,该方法通过新颖的噪声退火过程,解决了当前扩散取样过程难以纠正早期取样步骤错误而导致性能下降的问题,其探索了更大的解决方案空间,改进了准确重建的成功率。
Jul, 2024
本研究解决了现有扩散模型在图像恢复中的近似似然函数不足和计算效率低的问题。我们提出了一种统一的似然近似方法,通过引入协方差修正项来提高性能,并有效避免了在扩散模型中传播梯度。研究发现,该方法在真实自然图像数据集上的表现优于现有方案,显著改善了向真实数据后验的收敛性。
Sep, 2024