混合降解图像恢复的联合条件扩散模型

Apr, 2024

混合降解图像恢复的联合条件扩散模型

Joint Conditional Diffusion Model for Image Restoration with Mixed Degradations

Yufeng Yue, Meng Yu, Luojie Yang, Yi Yang

TL;DR在恶劣天气条件下，图像恢复是一项具有挑战性的任务，而盲解析图像分解技术是为了解决这个问题而提出的一种方法，它依赖于每个部分的精确估计。为了解决这些问题，我们利用物理约束来指导整个恢复过程，构建基于大气散射模型的混合退化模型，并将退化图像和退化遮罩合并到我们的联合条件扩散模型中，以提供精确指导。为了实现更好的颜色和细节恢复结果，我们进一步整合了一个细化网络来重建恢复图像，其中采用了不确定性估计块来增强特征。在多种气象和特定天气数据集上进行的大量实验证明了我们方法在竞争方法中的优越性。

Abstract

image restoration is rather challenging in adverse weather conditions, especially when multiple degradations occur simultaneously. Blind image decomposition was proposed to tackle this issue, however, its effecti

image restoration adverse weather conditions blind image decomposition physical constraints joint conditional diffusion model

发现论文，激发创造

基于扩散的图像修复统一条件框架

本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

May, 2023

在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

Apr, 2024

基于块降噪扩散模型的恶劣天气条件下视觉恢复

基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

Jul, 2022

基于小波扩散模型的低光照图像增强

我们提出了一种名为 DiffLL 的稳健和高效的基于扩散模型的低光图像增强方法，它利用波浪变换加速推理并降低计算资源使用但不损失信息，并通过前向扩散和反向去噪实现稳定去噪和减少随机性。我们还设计了高频率恢复模块，利用图像的垂直和水平细节来补充对角信息以实现更好的细粒度恢复。大量实验证明，我们的方法在定量和视觉上均优于现有的最先进方法，并且与以前的扩散方法相比，在效率上获得了显着的提高。此外，我们还经验性地证明了方法在低光人脸检测方面的潜在实际价值。

Jun, 2023

DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率

我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表现出在各种基准测试中的最先进性能。

Mar, 2024

基于小波的扩散模型在图像恢复中的应用

通过 Wavelet-Based Diffusion Model 和 Efficient Conditional Sampling，本研究提出了一种更加高效的图像恢复方法，其速度可以达到传统方法的 100 倍以上，并在四个基准数据集上实现了最先进的性能。

May, 2023

DR2: 基于扩散的盲人脸修复鲁棒去噪器

提出了基于扩散的鲁棒退化去除器 (DR2) 去除盲目面部修复中存在的性能瓶颈，其通过采用良好表现的去噪扩散概率模型，将输入图像扩散到噪声状态，捕捉了迭代去噪步骤中的语义信息，从而与常见的退化鲁棒 (如模糊、调整大小、噪声和压缩) 相容并且在合成和真实世界数据集上超越了现有技术。

Mar, 2023

图像恢复与增强的扩散模型 —— 综合调查

图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

Aug, 2023

贝叶斯条件扩散模型用于逆问题

扩散模型在图像重建中表现出优异的性能，提出了一种基于贝叶斯条件技术的扩散模型，通过条件得分函数来解决图像重建中出现的挑战性逆问题，并在图像去混叠、去模糊、超分辨率和修复中展现出最新技术的性能。

Jun, 2024

在级联扩散模型中缓解稀疏视图 CT 重建引起的数据一致性差异

稀疏视图计算机断层扫描（CT）图像重建是一种重要方法，可以降低辐射暴露，但必然导致图像质量下降。本研究引入了一种新的级联扩散与差异缓解（CDDM）框架，包括潜空间中的低质量图像生成和像素空间中的高质量图像生成，在一个步骤的重建过程中实现了数据一致性和差异缓解。级联框架通过将一些推理步骤从像素空间移动到潜空间，从而降低了计算成本。差异缓解技术解决了由数据一致性引起的训练 - 采样差距问题，确保数据分布接近原始流形。本研究还采用了专用的交替方向乘法器方法（ADMM）来处理图像梯度，提供了一种更有针对性的正则化方法。两个数据集上的实验结果表明，与现有方法相比，CDDM 在高质量图像生成方面具有更清晰的边界，并突出了该框架的计算效率。

Mar, 2024