MoE-DiffIR:面向任务定制的通用压缩图像恢复的扩散先验
本文提出了DiffPIR,将传统的plug-and-play方法集成到扩散采样框架中,以期在保留扩散模型生成能力的同时完成图像还原任务,实验结果表明,DiffPIR在三项代表性图像还原任务上取得了最先进的性能。
May, 2023
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
提出了一种名为DiffI2I的简单、高效和强大的I2I扩散模型,通过引入紧凑的I2I先验提取网络(CPEN),动态I2I转换器(DI2Iformer)和去噪网络来解决了传统DM在某些I2I任务中的效率和生成能力方面的问题。通过在各种I2I任务上进行广泛实验证明,DiffI2I在显著减少计算负担的同时达到了SOTA水平。
Aug, 2023
提出了一种基于扩散模型的高级选择性沙漏映射策略DiffUIR,通过强约束引导模型获得精确的扩散模型生成方向,将不同分布逐渐映射到一个共享分布中,结合共享分布项和强约束引导,DiffUIR迭代地将共享分布引导到具有高图像质量的特定任务分布,只通过修改映射策略,在五个图像恢复任务中,在通用设置和零样本泛化设置中取得了最先进的性能。
Mar, 2024
我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架,通过使用无监督对比学习获取图像降级的表示,并将降级意识模块集成到简化的 ControlNet 中,在各种降级情况下灵活地适应不同的降级,有效恢复更加精确和逼真的细节,表现出在各种基准测试中的最先进性能。
Mar, 2024
采用强大的视觉语言模型和合成降解管道,通过基于扩散模型和后验采样策略的鲁棒训练,提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和JPEG压缩等不同降解方式的问题。
Apr, 2024
提出了一种新颖的极端图像压缩框架,该框架将压缩VAEs和预训练的文本到图像扩散模型结合在一起,通过潜在特征引导压缩模块进行图像压缩并解码为内容变量,然后利用预训练的扩散模型进一步解码这些内容变量,实验结果表明在极低比特率下,该方法在视觉表现和图像保真度方面优于现有方法。
Apr, 2024
本研究介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法,该方法通过分层标记合并策略和混合对应机制实现关键帧和局部帧的修复,并在各种具有挑战性的数据集上证明了其在零样本视频修复中的顶级性能和对各种极端降级(8倍超分辨率和高标准差视频降噪)的一般化能力,可以与任何2D恢复扩散模型配合使用,为视频增强任务提供了一种多功能且强大的工具。
Jul, 2024
通过扩散模型基于预训练的视觉语言模型提取视觉提示,我们提出了Diff-Restorer通用图像修复方法,以去除降级同时生成高感知质量修复结果,并通过全面的定性和定量分析展示了我们的方法的效果和优越性。
Jul, 2024