野外瞎目人脸修复的 GAN 预测嵌入网络
本文提出了一种利用预训练人脸 GAN 中不同先验知识的 GFP-GAN 盲目人脸修复方法,其通过创新的通道分离空间特征变换层将生成式人脸先验纳入人脸修复过程,达到真实性和保真度之间的良好平衡。与 GAN 反演法相比,GFP-GAN 能够通过单个前向传递联合修复面部细节并增强颜色。大量实验表明,我们的方法在合成和实际数据集上比现有技术具有优越的性能。
Jan, 2021
提出了一种基于 Transformer 的盲目人脸修复方法 BFRC; 该方法在处理长距离依赖关系方面较传统方法更有效,能够重建保留有身份特征的细节丰富的图像。
Feb, 2024
本文研究了应用三种最先进的盲人面部修复技术(GFP-GAN、GPEN 和 SGPN)对在极低质量图像环境下的人脸验证系统性能的影响,并在最近提出的跨质量 LFW 数据库上使用三种最先进的深度人脸识别模型进行了详尽的实验,结果表明 GFP-GAN 显著提高了人脸验证准确性。
Aug, 2023
本文中,我们提出了一种基于降级感知特征插值网络的 GAN 先验方法,命名为 Panini-Net,用于面部恢复任务,可实现多种降级图像的面部恢复和面部超分辨率,实验证明其获得了业内领先的性能。
Mar, 2022
提出了一种嵌入生成虹膜先验的 Transformer 模型(Gformer)来从复杂退化的虹膜图像中恢复,该模型通过 Transformer 块和虹膜生成对抗网络(GAN)预测虹膜先验并应用于虹膜恢复过程,实验证明该方法在虹膜识别性能上超出了现有方法。
Jun, 2024
本研究探讨了利用预训练的稳定扩散(Stable Diffusion)来进行盲目人脸修复的潜力。我们提出了 BFRffusion,它经过精心设计,能够从低质量的人脸图像中有效提取特征,并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外,我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ,该数据集可以作为训练盲目人脸修复方法的可行替代品,有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验,我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平,而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。
Dec, 2023
本文介绍了一种有效利用生成对抗网络 (DGP) 捕获的图像先验的方法,它可以恢复各种退化图像中缺失的语义信息,还可以进行多样化的图像操作,通过松弛现有的 GAN 反演方法的假设,允许生成器以渐进的方式进行微调,并在 GAN 中的鉴别器处获得的特征距离作为正则项。这些易于实现和实用的改变有助于保持重构,使其保持在自然图像流形中,从而可以更准确、更忠实地重构真实图像。
Mar, 2020
本研究针对现有的面部修复技术的限制,提出了一种名为 Face Renovation(FR)的语义引导生成方法,并采用协同抑制补充(CSR)策略解决这个更具挑战性和实际问题,最终构建了多阶段嵌套 CSR 单元的 HiFaceGAN。实验证明,HiFaceGAN 在包含丰富背景干扰的真实图像中具有出色的修复性能,展示了其在面部图像处理中的多用途、稳健性和泛化能力。
May, 2020
该论文提出了一种基于 PGD 算法的 Deep Generalized Unfolding Network(DGUNet)进行图像修复,通过在梯度下降步骤中集成梯度估计策略和设计跨不同 PGD 迭代中 Proximal mapping 的中间信息通路,实现对复杂和现实世界图像的修复,同时保持了透明度和可解释性。实验结果表明,该方法在各种图像修复任务中的性能、可解释性和通用性均优于现有方法。
Apr, 2022
本文研究了盲目还原面部图像的问题,通过使用高品质引导图像及 WarpNet 网络来修正姿势、光照和表情等因素对面部细节的影响,同时使用 CNN 和 Synthetic 数据来完成盲目还原任务。
Apr, 2018