利用扩散先验进行一体化图像恢复
通过 DyNet 动态网络设计的全能图像恢复任务模型,结合权重共享机制和动态预训练策略,在图像去噪、去雨和去雾等多种任务上取得了最新的成果,同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。
Apr, 2024
本文介绍了一种通过扩展扩散模型进行图像修复的新方法,该方法利用生成过程中与测量身份一致的样本,并结合测量信号与初始化信息来提高生成过程的效果。实验证明了该方法在不同的图像修复任务中的有效性。
Feb, 2024
提出了一种新颖的基于扩散的图像恢复求解器,通过解耦逆向过程和数据一致性步骤来解决扩散模型中额外梯度步骤引起的计算负担和问题,通过整合一致性模型减少采样步骤的必要性,从而在各种图像恢复任务中展现出高效的问题解决能力。
Mar, 2024
本文提出了一种全方位图像修复框架,通过自动检测和处理多种未知的图像退化,实现了对复杂实际图像修复问题的解决。该框架利用盲图像质量评估模块进行未知主要图像退化类型的自动检测和识别,然后使用全方位图像编辑模块进行多种退化图像修复,并通过结构校正模块恢复 AIR 导致的图像细节失真。综合评估表明,AutoDIR 在支持更多任务的同时,通过取得优越的修复结果超越了现有方法。值得注意的是,AutoDIR 还是首个能够自动处理多种未知图像退化的方法。
Oct, 2023
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
本研究介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法,该方法通过分层标记合并策略和混合对应机制实现关键帧和局部帧的修复,并在各种具有挑战性的数据集上证明了其在零样本视频修复中的顶级性能和对各种极端降级(8 倍超分辨率和高标准差视频降噪)的一般化能力,可以与任何 2D 恢复扩散模型配合使用,为视频增强任务提供了一种多功能且强大的工具。
Jul, 2024
该研究提出了一种基于动态参考建模范式的高效 All-In-One 图像复原方法,该方法采用一对相互纠缠的基于参考的最大后验概率推断,实现任务自适应的降噪建模和模型图像还原,同时提供了显式的灵活性和可解释性。
Jul, 2023
本文提出了一种名为 DDNM 的新颖的零射击框架,用于任意线性图像修复问题,包括但不限于图像超分辨率、上色、修补、压缩感知和去模糊。DDNM 只需要一个预先训练好的 diffusion 模型作为生成先验,而不需要任何额外的训练或网络修改。我们在几个 IR 任务上的实验表明,DDNM 优于其他最先进的零射击 IR 方法。
Dec, 2022
通过使用预训练的扩散模型,我们提出了一种盲图像恢复方法 BIRD,它在优化退化模型参数和恢复图像的同时,通过在数据流形上提出新的采样技术,将图像恢复任务转化为输入噪声空间中的优化问题。实验证明,该方法在多个图像恢复任务上实现了最先进的性能。
May, 2024
本文提出了 DiffPIR,将传统的 plug-and-play 方法集成到扩散采样框架中,以期在保留扩散模型生成能力的同时完成图像还原任务,实验结果表明,DiffPIR 在三项代表性图像还原任务上取得了最先进的性能。
May, 2023