Sep, 2023

深度人脸修复综述：从非盲目到盲目以及更多

PDF
TL;DR面部修复是图像修复中的一个专业领域，旨在将低质量的面部图像恢复为高质量的面部图像。本论文首先考察了导致真实世界低质量图像的普遍因素，并介绍了合成低质量图像的降质技术。我们还讨论了该领域常用的重要基准，并根据不同任务对面部修复方法进行分类并解释了它们的演化过程。此外，我们探讨了在修复过程中常用的各种面部先验知识，并讨论了增强其有效性的策略。在实验部分，我们使用统一基准全面评估了最先进的面部修复方法在各种任务上的性能，并从不同的角度分析了它们的表现。最后，我们讨论了面部修复领域面临的挑战，并提出了未来发展的潜在方向。本工作的开源代码库可以在 https://github.com/24wenjie-li/Awesome-Face-Restoration 找到。
发现论文，激发创造
  • 走向现实世界的视频人脸修复：一个新的基准

    尽管盲目的人脸修复（BFR）在图像上有了显著进展，但对于更复杂的面部动作（如移动凝视方向和面部朝向）的真实世界视频人脸修复（VFR）问题尚未解决。本研究引入了名为 FOS 的新的真实世界数据集，其中包含来自主要视频帧的 “全面的、遮挡的和侧面的” 面部，以研究当前方法在视频上的适用性。通过与已有测试数据集的比较，FOS 数据集涵盖了更多种类的退化，并涉及来自更复杂场景的人脸样本，从而更全面地重新审视了当前的人脸修复方法。

    Apr, 2024

  • 利用盲目人脸修复技术提升跨品质人脸验证

    本文研究了应用三种最先进的盲人面部修复技术（GFP-GAN、GPEN 和 SGPN）对在极低质量图像环境下的人脸验证系统性能的影响，并在最近提出的跨质量 LFW 数据库上使用三种最先进的深度人脸识别模型进行了详尽的实验，结果表明 GFP-GAN 显著提高了人脸验证准确性。

    Aug, 2023

  • BFRFormer：用于实际盲目人脸修复的基于 Transformer 的生成器

    提出了一种基于 Transformer 的盲目人脸修复方法 BFRC; 该方法在处理长距离依赖关系方面较传统方法更有效，能够重建保留有身份特征的细节丰富的图像。

    Feb, 2024

  • 盲人面部恢复的渐进式语义感知风格转换

    本文提出了一种名为 PSFR-GAN 的新型渐进式语义感知风格转换框架，用于面部图像修复。该框架通过多尺度逐步修复 LQ 面部图像，并在语义感知风格转移的同时从粗糙到精细地调制不同比例尺寸的特征。同时，引入了一种语义感知风格损失，以改善面部纹理的细节，并通过合成数据进行了实验验证。

    Sep, 2020

  • 基于生成扩散先验的面部盲目修复朝真实世界迈进

    本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。

    Dec, 2023

  • 深度人脸识别：一项综述

    本文全面回顾了深度人脸识别的最近发展，涵盖了算法设计、数据库、协议和应用场景等广泛主题，概述了不同的网络架构和损失函数，将相关的面部处理方法分为 “一对多增强” 和 “多对一归一化” 两类，并总结和比较了常用的数据库用于模型训练和评估，最后强调了技术挑战和几个有前途的方向。

    Apr, 2018

  • DiffBFR：基于自举的扩散模型的盲人脸修复

    本文提出了一种基于扩散概率模型的盲目面部修复方法 DiffBFR，使用身份恢复模块和纹理增强模块实现了对低质量图像的身份还原和纹理细节增强，并通过截断采样保留了更多的原始细节。

    May, 2023

  • 使用矢量量化字典和并行解码器进行盲人面部修复

    提出了基于向量量化和纹理变形的 VQFR 方法，该方法利用高质量的低层特征和并行解码器以及自适应压缩字典来恢复面部细节，提高了面部细节的修复质量。

    May, 2022

  • 人脸恢复的双重关联编码器

    通过引入辅助 LQ 分支和关联训练，我们提出了一种名为 DAEFR 的新型双分支框架，这种方法在还原面部细节方面表现出卓越的性能。

    Aug, 2023

  • HiFaceGAN: 基于协同压抑与补偿的人脸修复

    本研究针对现有的面部修复技术的限制，提出了一种名为 Face Renovation（FR）的语义引导生成方法，并采用协同抑制补充（CSR）策略解决这个更具挑战性和实际问题，最终构建了多阶段嵌套 CSR 单元的 HiFaceGAN。实验证明，HiFaceGAN 在包含丰富背景干扰的真实图像中具有出色的修复性能，展示了其在面部图像处理中的多用途、稳健性和泛化能力。

    May, 2020