Jul, 2024

MRIR：集成多模态信息的基于扩散的逼真图像修复

PDF
TL;DR基于扩散的稳定预训练的多模态控制图像恢复方法将文本级和视觉级的信息整合到去噪 U-Net 模型中，实现多模态信息的可控图像恢复，通过定性和定量的结果对比验证其在合成和真实数据集上的优越性。
image restorationdiffusion-based modelspre-trained stable diffusionmultimodal insightscontrollable image restoration
发现论文，激发创造
  • 图像恢复与增强的扩散模型 —— 综合调查

    图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

    Aug, 2023

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

    Apr, 2024

  • 多功能图像恢复的无需训练的大型模型先验

    通过整合大型多模态语言模型（MMLMs）的通用先验知识和预训练扩散模型，提出了大型模型驱动的图像恢复框架（LMDIR），旨在处理各种退化类型并支持自动和用户引导的恢复，从而在多个评估基准上优于现有方法。

    Jul, 2024

  • DiffBIR: 基于生成式扩散先验的盲图像恢复

    我们提出了 DiffBIR，它利用预训练的文本到图像扩散模型解决盲目图像恢复问题。我们的框架采用了两阶段流程，在第一阶段中，我们通过在各种退化情况下预训练恢复模块来提高在实际场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力，实现逼真的图像恢复。最后，我们引入了一个可控的模块，通过在推理过程中引入潜在图像指导来平衡质量和保真度。广泛的实验证明了它在合成和实际数据集上在盲目图像超分辨率和盲目人脸恢复任务上优于现有的方法。代码可在此 https URL 找到。

    Aug, 2023

  • Diff-Restorer：基于扩散的通用图像修复中的视觉提示释放

    通过扩散模型基于预训练的视觉语言模型提取视觉提示，我们提出了 Diff-Restorer 通用图像修复方法，以去除降级同时生成高感知质量修复结果，并通过全面的定性和定量分析展示了我们的方法的效果和优越性。

    Jul, 2024

  • 用于即插即用图像恢复的去噪扩散模型

    本文提出了 DiffPIR，将传统的 plug-and-play 方法集成到扩散采样框架中，以期在保留扩散模型生成能力的同时完成图像还原任务，实验结果表明，DiffPIR 在三项代表性图像还原任务上取得了最先进的性能。

    May, 2023

  • 利用扩散模型作为约束：增强图像恢复网络通过扩散模型训练

    通过引入自然性导向和语义感知优化机制 DiffLoss，本文旨在改善图像恢复领域中的颜色和纹理失真问题，并提高图像的语义感知恢复能力，以实现图像恢复任务和高级识别任务的连接。

    Jun, 2024

  • MoE-DiffIR：面向任务定制的通用压缩图像恢复的扩散先验

    MoE-DiffIR 是一种创新的通用压缩图像恢复（CIR）方法，采用任务定制的扩散先验以解决现有 CIR 方法中的两个关键挑战：不同图像编解码器的适应性和通用性不足以及在低比特率下纹理生成能力的不足。

    Jul, 2024

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 利用扩散先验进行实际图像超分辨率

    本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

    May, 2023