PGDiff：通过部分引导指导扩散模型进行多功能人脸还原

Sep, 2023

PGDiff：通过部分引导指导扩散模型进行多功能人脸还原

PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

Peiqing Yang, Shangchen Zhou, Qingyi Tao, Chen Change Loy

TL;DR利用预训练扩散模型进行恢复已成为传统特定任务训练方法的可取替代。本文提出了 PGDiff，通过引入部分指导的新视角，相较于现有方法更适应现实世界中的退化过程。我们的方法不是具体定义退化过程，而是模拟高质量图像的图像结构和颜色统计等期望特性，并将其应用于逆扩散过程。PGDiff 结合扩散先验能够在各种恢复任务中产生令人满意的结果。此外，PGDiff 可以通过整合各个任务的指导来处理复合任务。实验结果表明，我们的方法不仅胜过现有的以扩散先验为基础的方法，而且在与特定任务模型的竞争中表现出色。

Abstract

Exploiting pre-trained diffusion models for restoration has recently become a favored alternative to the traditional task-specific training approach. Previous works have achieved noteworthy success by limiting th

pre-trained diffusion models restoration partial guidance reverse diffusion process composite tasks

发现论文，激发创造

PartDiff：利用部分扩散模型的图像超分辨率

通过学习逐渐将数据分布扩散为高斯噪声的过程，并以随机噪声进行迭代去噪处理，去噪扩散概率模型（DDPMs）在各种图像生成任务中取得了令人印象深刻的性能。本文提出了部分扩散模型（PartDiff），通过将图像扩散到中间潜在状态而不是纯随机噪声来生成新数据，并采用近似于低分辨率图像扩散的潜在状态来逼近中间潜在状态。实验证明，与纯扩散基础的超分辨率方法相比，部分扩散模型可以显著减少去噪步骤的数量而不损失生成的质量。

Jul, 2023

生成扩散先验用于图像修复和增强

本文提出一种基于无监督学习的生成扩散先验（GDP）方法，采用预训练的去噪扩散生成模型（DDPM）来有效地建模后验分布，并通过优化去噪过程中的退化模型参数来实现盲图像恢复，进一步采用分层引导和基于块的方法，使 GDP 能够产生任意分辨率的图像。实验结果表明，GDP 在各种图像重建质量和感知质量的基准测试中优于当前的领先无监督方法，在各种任务和各种图像大小的数据集上都表现良好。

Apr, 2023

Gradpaint: 基于梯度引导的扩散模型修复

GradPaint 是一种用于图像修复的方法，通过计算模型的损失与输入图像的相干性，并使用扩散模型本身的梯度来引导生成过程，从而改善了目前基于监督和非监督方法的最新技术。

Sep, 2023

流形保持引导扩散

提出了 Manifold Preserving Guided Diffusion (MPGD)，实现了一种无需训练的条件生成框架，利用预训练扩散模型和现成的神经网络，具有最小的附加推断成本，适用于各种条件生成应用，提供了高样本品质和高达 3.8 倍的速度提升。

Nov, 2023

图像恢复的扩散净化解耦数据一致性

提出了一种新颖的基于扩散的图像恢复求解器，通过解耦逆向过程和数据一致性步骤来解决扩散模型中额外梯度步骤引起的计算负担和问题，通过整合一致性模型减少采样步骤的必要性，从而在各种图像恢复任务中展现出高效的问题解决能力。

Mar, 2024

基于扩散的图像修复统一条件框架

本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

May, 2023

实用的即插即用扩散模型

本文提出了一种可行的指导框架，称为实用插播（PPAP），该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家，每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验，证明了该方法可以成功地引导扩散，且小可训练参数和没有标记的数据。最后，通过我们的框架，我们展示了图像分类器，深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。

Dec, 2022

以草图为引导的局部离散扩散图像修复

本研究工作中，我们研究了基于草图引导的图像修复任务。与在捕捉语义细节方面表现出色的经过深入研究的自然语言引导图像修复不同，相对较少研究的草图引导修复提供了更强的用户控制力，可指定待修复对象的形状和姿势。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP 的正向传递在图像的掩蔽区域损坏，而反向传递使用我们提出的草图引导双向转换器以依赖于手绘草图来重建这些掩蔽区域。所提出的新颖转换器模块接受两个输入 —— 包含待修复区域的图像和用于建模逆扩散过程的查询草图。这一策略有效地解决了草图与自然图像之间的领域差异，从而提高了修复结果的质量。在缺乏针对此任务的大规模数据集的情况下，我们从 MS-COCO 合成了一个数据集，用于对我们提出的框架进行训练和广泛评估，与文献中的各种竞争方法进行对比。定性和定量结果以及用户研究表明，所提出的方法可以修复与提供的草图的视觉外观相符的逼真对象。为了促进进一步的研究，我们已将我们的代码公开提供在此 https URL 。

Apr, 2024

通过迭代预条件引导的去噪扩散模型进行图像恢复

训练深度神经网络已成为解决图像恢复问题的常用方法，本文提出了一种基于预条件的新型引导技术，它在恢复方案中的实现要比现有方法简单，同时对噪声具有抗干扰性，适用于图像去模糊和超分辨率的任务。

Dec, 2023

自校正扩散采样与扰动注意力引导

基于扩散模型的采样指导技术在无条件生成和各种下游任务中限制较多，本研究提出一种称为 Perturbed-Attention Guidance (PAG) 的新型采样指导方法，通过渐进式增强样本结构，改善扩散采样的质量，并在条件和无条件场景下实现了显著性提升，同时在空提示的 ControlNet 以及图像修复（如修补和去模糊）等各种下游任务中也取得了显著的性能提升。

Mar, 2024