利用图像扩散模型解决视频逆问题
本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题,通过在不同时间步引入不同的去噪器来实现对图像结构的约束,进而提高扩散模型在图像修复等领域的应用性能。
May, 2023
通过有效控制扩散模型回流过程中的随机性来提高预训练图像超分辨率模型的采样质量,在边界条件的选择上,我们通过对整个空间的高效探索来获取近似最优边界条件,并且通过我们的方法进行的采样结果质量要优于现有方法的随机结果。
May, 2023
提出一种名为“SSD”的新型反演流程,使用“Embryo”的概念进行前向过程,采用快捷路径,包括“输入-Embryo-输出”,在图像超分辨率、去模糊和上色等任务中实验有效性,探讨 DA 反演和反投影等一系列额外的生成一致性约束条件。与现有的 zero-shot 方法相比,只需30个NFEs就可取得竞争性的结果。
May, 2023
本文提出了一种基于去噪扩散概率模型的条件生成模型,通过把一个已知的、可求导的正向模型集成到去噪过程中,实现了间接观测信号的采样, 并在三项具有挑战性的计算机视觉任务中进行了验证。
Jun, 2023
我们提出了第一个框架,利用预先训练好的潜在扩散模型来解决线性反问题。在理论和实验分析中,我们都展现出在各种问题中都优于先前提出的后验采样算法,包括随机修补、块修补、去噪、去模糊处理、去除条纹和超分辨率。
Jul, 2023
我们提出了一种名为“严重性编码”的新方法,通过在自编码器的潜在空间中估计噪声、退化信号的退化严重程度,从而在样本自适应推断时间、重建问题的难度上取得了显著性进展。同时,利用潜在扩散模型基于预测的退化严重程度来调整反向扩散采样轨迹,从而在维持与观测一致性的同时实现样本自适应的推断时间,与现有扩散法技术相比,我们的技术在计算效率方面有明显提升。
Sep, 2023
利用去噪扩散模型(DDM)作为先验来解决逆贝叶斯问题的兴趣最近显著增加。本研究采用不同方法,利用DDM先验的特定结构定义了一组中间和简化的后验采样问题,相比以前的方法,降低了近似误差。我们通过使用合成示例和各种图像恢复任务来经验性地展示了我们方法的重建能力。
Mar, 2024
构建快速采样器以进行无条件扩散和流匹配模型近期备受关注;然而,现有方法在解决超分辨率、修复或去模糊等逆问题时仍需要数百到数千次迭代步骤以获得高质量结果。我们提出了一种插拔式框架用于构建逆问题的高效采样器,只需要预先训练的扩散模型或流匹配模型。我们提出了条件共轭积分器,利用逆问题的具体形式将各自的条件扩散/流动动力学投影到更易处理的采样空间中。我们评估了所提方法在多个数据集上的各种线性图像修复任务的性能,采用了扩散和流匹配模型。尤其是在ImageNet数据集上的4倍超分辨率等具有挑战性的逆问题中,我们的方法能够在仅5个条件采样步骤中生成高质量样本,并优于需要20-1000步的竞争基准。我们的代码和模型将在此https URL公开。
May, 2024
本研究针对图像逆问题中现有方法未充分探索解空间的不足,提出了一种基于粒子滤波的潜在扩散方法。该方法通过初始阶段的非线性解空间探索,显著提升了超分辨率、去模糊和图像修复任务的解决效果,超越了当前最先进的PSLD求解器。
Aug, 2024
本研究解决了现有扩散模型在图像恢复中的近似似然函数不足和计算效率低的问题。我们提出了一种统一的似然近似方法,通过引入协方差修正项来提高性能,并有效避免了在扩散模型中传播梯度。研究发现,该方法在真实自然图像数据集上的表现优于现有方案,显著改善了向真实数据后验的收敛性。
Sep, 2024