基于生成式面部先验的实际盲目人脸修复

CVPRJan, 2021

基于生成式面部先验的实际盲目人脸修复

Towards Real-World Blind Face Restoration with Generative Facial Prior

Xintao Wang, Yu Li, Honglun Zhang, Ying Shan

TL;DR本文提出了一种利用预训练人脸 GAN 中不同先验知识的 GFP-GAN 盲目人脸修复方法，其通过创新的通道分离空间特征变换层将生成式人脸先验纳入人脸修复过程，达到真实性和保真度之间的良好平衡。与 GAN 反演法相比，GFP-GAN 能够通过单个前向传递联合修复面部细节并增强颜色。大量实验表明，我们的方法在合成和实际数据集上比现有技术具有优越的性能。

Abstract

blind face restoration usually relies on facial priors, such as facial geometry prior or reference prior, to restore realistic and faithful details. However, very low-quality inputs cannot offer accurate geometri

blind face restoration facial priors pretrained face gan channel-split spatial feature transform layers generative facial prior

发现论文，激发创造

野外瞎目人脸修复的 GAN 预测嵌入网络

该研究提出了一种将基于生成对抗网络的高质量人脸图像生成器嵌入到 U 型深度神经网络中的盲目人脸修复方法，其能更好地控制全局脸部结构、局部面部细节和背景，并在野外环境下显著提高盲目人脸修复的效果。

May, 2021

利用盲目人脸修复技术提升跨品质人脸验证

本文研究了应用三种最先进的盲人面部修复技术（GFP-GAN、GPEN 和 SGPN）对在极低质量图像环境下的人脸验证系统性能的影响，并在最近提出的跨质量 LFW 数据库上使用三种最先进的深度人脸识别模型进行了详尽的实验，结果表明 GFP-GAN 显著提高了人脸验证准确性。

Aug, 2023

利用深度生成先验进行多功能图像修复和操作

本文介绍了一种有效利用生成对抗网络 (DGP) 捕获的图像先验的方法，它可以恢复各种退化图像中缺失的语义信息，还可以进行多样化的图像操作，通过松弛现有的 GAN 反演方法的假设，允许生成器以渐进的方式进行微调，并在 GAN 中的鉴别器处获得的特征距离作为正则项。这些易于实现和实用的改变有助于保持重构，使其保持在自然图像流形中，从而可以更准确、更忠实地重构真实图像。

Mar, 2020

基于生成扩散先验的面部盲目修复朝真实世界迈进

本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。代码、预训练模型和数据集在此 https URL 上发布。

Dec, 2023

生成扩散先验用于图像修复和增强

本文提出一种基于无监督学习的生成扩散先验（GDP）方法，采用预训练的去噪扩散生成模型（DDPM）来有效地建模后验分布，并通过优化去噪过程中的退化模型参数来实现盲图像恢复，进一步采用分层引导和基于块的方法，使 GDP 能够产生任意分辨率的图像。实验结果表明，GDP 在各种图像重建质量和感知质量的基准测试中优于当前的领先无监督方法，在各种任务和各种图像大小的数据集上都表现良好。

Apr, 2023

生成虹膜先验嵌入变换器用于虹膜恢复

提出了一种嵌入生成虹膜先验的 Transformer 模型（Gformer）来从复杂退化的虹膜图像中恢复，该模型通过 Transformer 块和虹膜生成对抗网络（GAN）预测虹膜先验并应用于虹膜恢复过程，实验证明该方法在虹膜识别性能上超出了现有方法。

Jun, 2024

由三维面部先验引导的人脸超分辨率

该研究提出了一种将 3D 人脸先验知识与深度卷积神经网络相结合的人脸超分辨率方法。实验结果表明，所提出的方法在面部超分辨率方面取得了优异的效果。

Jul, 2020

HiFaceGAN: 基于协同压抑与补偿的人脸修复

本研究针对现有的面部修复技术的限制，提出了一种名为 Face Renovation（FR）的语义引导生成方法，并采用协同抑制补充（CSR）策略解决这个更具挑战性和实际问题，最终构建了多阶段嵌套 CSR 单元的 HiFaceGAN。实验证明，HiFaceGAN 在包含丰富背景干扰的真实图像中具有出色的修复性能，展示了其在面部图像处理中的多用途、稳健性和泛化能力。

May, 2020

使用多代码生成对抗网络（GAN）进行图像处理

本研究提出了一种基于多个潜在代码和自适应通道重要性的方案，称为 mGANprior，该方案利用准确训练的生成对抗网络模型的有效先验来改善图像重构质量，在图像处理中具有广阔的应用前景。

Dec, 2019

深度图像先验

本文研究了深度卷积神经网络用于图像生成和修复的方法，以及使用神经网络作为手工先验的能力，展示了这种方法在标准的逆问题中的卓越效果以及在检测深度神经网络表示和基于闪光和非闪光输入对图像进行修复方面的同等效果。

Nov, 2017