探索和评估动态场景图像修复的潜力
采用强大的视觉语言模型和合成降解管道,通过基于扩散模型和后验采样策略的鲁棒训练,提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。
Apr, 2024
该论文提出了一种 PromptIR 的快速恢复图像的方式,通过使用提示语对特定串行卷积网络的应用,在不同类型和级别的退化情况下提高了图像恢复性能,实现了对不同退化类型和级别的推广,并在图像去噪、去雨和去雾方面实现了最先进的结果。
Jun, 2023
本文介绍了最新的反感知 (IR) 算法基于生成对抗网络 (GANs),但其定量评估与视觉感知质量存在不一致性。为了回答现有的 IQa 方法能否客观评价最近的 IR 算法和促进 IQa 方法的发展,作者提出了一个大规模的 IQa 数据集 PIPAL,并针对 GAN 基础的 IR 算法,提出了一些新的基准方法和对空间错位改进的 IQa 网络。
Nov, 2020
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
在图像修复中,人们常常希望根据指令去除特定的图像退化现象,本文提出了一种名为 TransRFIR 的新型建模方法,它通过感知图像中的不同退化类型并根据文本提示去除特定的退化,该方法基于两个设计的注意力模块,即 MHASA 和 MHACA,具有较低的计算成本和优秀的性能,可以作为图像修复的一种有效架构。
Apr, 2024
本文证明了图像修复算法中失真度 (Distortion) 和感知质量 (perceptual quality) 是对立的,并研究了正确判别图像修复算法输出与真实图像之间的最优概率,此概率需随均值失真程度的降低而逐渐增加,GAN 提供了超越感知失真界限的原则方法。作者提出了一种新的评估算法质量的方法,并使用该方法对最近的超分辨率算法进行了广泛比较。
Nov, 2017
该研究提出了一种基于动态参考建模范式的高效 All-In-One 图像复原方法,该方法采用一对相互纠缠的基于参考的最大后验概率推断,实现任务自适应的降噪建模和模型图像还原,同时提供了显式的灵活性和可解释性。
Jul, 2023
基于脉冲相机的图像恢复方法,通过建立基于物理的噪声模型,设计具有自适应脉冲变换模块、循环时间特征融合模块和基于频率的脉冲降噪模块的 Recurrent Spike-based Image Restoration (RSIR) 网络,以恢复雨天或昏暗场景下的清晰图像。实验结果表明,该网络在不同光照条件下具有较好的恢复效果。
Aug, 2023
提出了物理整合的修复网络 (PiRN) 和 PiRN-SR 方法,该方法通过物理模拟器直接参与训练过程,从而帮助网络从图像退化和底层图像中分离出随机性,以提高真实世界未知湍流条件下的泛化性能,并在像素精确度和感知质量方面提供了最新的恢复效果。
Jul, 2023
该研究提出了一种名为 MPRNet 的多阶段架构,使用编码器 - 解码器架构学习上下文信息和高分辨率分支,结合像素自适应设计重新加权本地特征,从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡,该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。
Feb, 2021