Jul, 2022

基于块降噪扩散模型的恶劣天气条件下视觉恢复

PDF
TL;DR基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。
发现论文，激发创造
  • 实践中的真知：视频恶劣天气去除的扩散测试时间自适应

    我们在视频中引入了测试时适应性，并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架，在训练阶段，我们设计了一个基于扩散的网络和一种新颖的时间噪声模型，以高效地探索退化视频剪辑中的帧相关信息，在推理阶段，我们引入了一个名为扩散管道自校准的代理任务，学习测试视频流的引物分布，并通过近似时间噪声模型进行在线适应，实验结果表明，我们的测试时适应性方法与基于扩散的网络（Diff-TTA）在恢复受到已知天气条件影响的视频方面优于最先进的方法，其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。

    Mar, 2024

  • 基于扩散的图像修复统一条件框架

    本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

    May, 2023

  • TransWeather：基于 Transformer 的逆天气图像恢复

    本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

    Apr, 2024

  • 重度雨天气图像修复：物理模型与条件对抗式学习的整合

    本篇论文提出了一种基于物理学原理和 2 阶段网络的深度引导 GAN 精细处理方法，可以有效处理暴雨图像修复过程中出现的雨丝、雨滴遮挡和图像模糊等问题，并通过对真实雨天数据进行测试和评估，证明该方法在图像修复和细节保护方面优于其他现有的方法。

    Apr, 2019

  • 混合降解图像恢复的联合条件扩散模型

    在恶劣天气条件下，图像恢复是一项具有挑战性的任务，而盲解析图像分解技术是为了解决这个问题而提出的一种方法，它依赖于每个部分的精确估计。为了解决这些问题，我们利用物理约束来指导整个恢复过程，构建基于大气散射模型的混合退化模型，并将退化图像和退化遮罩合并到我们的联合条件扩散模型中，以提供精确指导。为了实现更好的颜色和细节恢复结果，我们进一步整合了一个细化网络来重建恢复图像，其中采用了不确定性估计块来增强特征。在多种气象和特定天气数据集上进行的大量实验证明了我们方法在竞争方法中的优越性。

    Apr, 2024

  • 针对高分辨率图像合成的修复去噪扩散模型

    我们提出了一种有效的去噪扩散模型，用于生成高分辨率图像 (例如 1024x512)，该模型是在小尺寸图像块 (例如 64x64) 上训练的。我们的算法名为 Patch-DM，其中设计了一种新的特征拼贴策略，以避免合成大尺寸图像时的边界伪影。通过特征拼贴，我们可以系统地裁剪并组合相邻图像块的部分特征来预测移位图像块的特征，从而在图像块特征空间中的重叠区域中实现整个图像的无缝生成。Patch-DM 在我们新收集的自然图像数据集 (1024x512) 以及标准基准较小尺寸 (256x256) 上产生了高质量的图像合成结果，包括 LSUN-Bedroom、LSUN-Church 和 FFHQ。我们将我们的方法与以前的基于图像块的生成方法进行了比较，并在所有四个数据集上获得了最先进的 FID 分数。此外，与经典的扩散模型相比，Patch-DM 还减少了内存复杂度。

    Aug, 2023

  • MetaWeather: 基于降级模式匹配的少样本天气劣化图像恢复

    MetaWeather 是一种针对任意天气条件的少样本天气恢复方法，通过匹配新天气条件下输入图像和示例图像之间的特征，利用元学习构建元知识以提供灵活的适应性，并通过参数高效的微调方法来避免过拟合问题。在 BID Task II.A 数据集上的实验表明，与最先进的图像恢复方法相比，我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。

    Aug, 2023

  • 基于潜在扩散模型的自然对抗图像补丁生成方法

    最近的研究表明，深度神经网络对于对抗性攻击很容易受到攻击，而精心训练的样本或补丁可以欺骗神经网络检测器或人类视觉感知。为了解决这个问题，本文提出了一种名为潜在扩散补丁（LDP）的新型对抗性补丁方法，首先设计了一个预训练的编码器将自然图像压缩到具有关键特征的特征空间，然后使用上述特征空间训练扩散模型，最后通过图像去噪技术探索预训练扩散模型的潜在空间，通过扩散模型的强大的自然能力对补丁和图像进行改进，使它们更容易被人类视觉系统接受。实验结果在数字和物理世界中均表明，LDP 在视觉主观评分上达到了 87.3％，同时仍然保持有效的攻击能力。

    Dec, 2023

  • 基于去噪扩散模型的光学图像转换：以异构变化检测为例

    介绍一种创新的基于深度学习的方法，使用去噪扩散模型将不同光学传感器的低分辨率图像转换为高分辨率图像，保留内容并避免不需要的伪影，通过大规模多样的 Sentinel-II 和 Planet Dove 图像配对数据集进行训练和测试，解决了在多传感器光学遥感图像的图像到图像转换任务中普遍使用的无分类器引导去噪扩散隐式模型（DDIM）框架所观察到的严重图像生成问题，生成具有高度一致的补丁的大型图像，包括颜色和特征，进一步展示了该方法如何改善贝鲁特，黎巴嫩和美国奥斯汀两个城市地区的异构变化检测结果，我们的贡献包括：i）基于去噪扩散模型的光学图像转换的新的训练和测试算法；ii）全面的图像质量评估和消融研究；iii）与无分类器引导 DDIM 框架的比较；和 iv）对异构数据的变化检测实验。

    Apr, 2024