Aug, 2023

DiffBIR: 基于生成式扩散先验的盲图像恢复

PDF
TL;DR我们提出了 DiffBIR，它利用预训练的文本到图像扩散模型解决盲目图像恢复问题。我们的框架采用了两阶段流程，在第一阶段中，我们通过在各种退化情况下预训练恢复模块来提高在实际场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力，实现逼真的图像恢复。最后，我们引入了一个可控的模块，通过在推理过程中引入潜在图像指导来平衡质量和保真度。广泛的实验证明了它在合成和实际数据集上在盲目图像超分辨率和盲目人脸恢复任务上优于现有的方法。代码可在此 https URL 找到。
diffbirimage restorationpretrained modelslatent diffusion modelscontrollable module
发现论文，激发创造
  • 通过快速扩散反演进行盲图像恢复

    通过使用预训练的扩散模型，我们提出了一种盲图像恢复方法 BIRD，它在优化退化模型参数和恢复图像的同时，通过在数据流形上提出新的采样技术，将图像恢复任务转化为输入噪声空间中的优化问题。实验证明，该方法在多个图像恢复任务上实现了最先进的性能。

    May, 2024

  • 利用扩散先验进行实际图像超分辨率

    本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

    May, 2023

  • 基于生成扩散先验的面部盲目修复朝真实世界迈进

    本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。

    Dec, 2023

  • DiffBFR：基于自举的扩散模型的盲人脸修复

    本文提出了一种基于扩散概率模型的盲目面部修复方法 DiffBFR，使用身份恢复模块和纹理增强模块实现了对低质量图像的身份还原和纹理细节增强，并通过截断采样保留了更多的原始细节。

    May, 2023

  • 用于即插即用图像恢复的去噪扩散模型

    本文提出了 DiffPIR，将传统的 plug-and-play 方法集成到扩散采样框架中，以期在保留扩散模型生成能力的同时完成图像还原任务，实验结果表明，DiffPIR 在三项代表性图像还原任务上取得了最先进的性能。

    May, 2023

  • 在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

    采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

    Apr, 2024

  • 图像恢复与增强的扩散模型 —— 综合调查

    图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

    Aug, 2023

  • CLR-Face：基于得分驱动扩散模型的盲目人脸修复的条件潜在精细化

    我们提出了一种基于扩散先验的 VQGAN 结构，在学习完整的潜在嵌入分布的同时，迭代地从受损对应物恢复干净嵌入，结合身份恢复网络的输出对逆向扩散过程进行约束，以在潜在空间中实现知觉和保真度的分离，取得最佳性能。

    Feb, 2024

  • BlindDiff：盲图像超分辨率中扩散模型中质量模拟的强化

    BlindDiff 是一种基于扩散模型（DM）的盲超分辨率（SR）方法，通过将基于最大后验（MAP）的优化集成到 DM 中，无缝地解决了 SISR 中的盲降解设置，并通过反向过程解决盲 SR 问题。

    Mar, 2024

  • BIVDiff：基于图像和视频扩散模型的无需训练的通用视频合成框架

    我们提出了一个无需训练的通用视频合成框架，命名为 BIVDiff，通过将特定的图像扩散模型与通用文本到视频基础扩散模型相结合，既实现了强大的任务泛化能力，又具有高效性。

    Dec, 2023