CVPRSep, 2020

盲人面部恢复的渐进式语义感知风格转换

PDF
TL;DR本文提出了一种名为 PSFR-GAN 的新型渐进式语义感知风格转换框架，用于面部图像修复。该框架通过多尺度逐步修复 LQ 面部图像，并在语义感知风格转移的同时从粗糙到精细地调制不同比例尺寸的特征。同时，引入了一种语义感知风格损失，以改善面部纹理的细节，并通过合成数据进行了实验验证。
face restorationsemantic-aware style transformationmulti-scale progressive restorationpsfr-ganface parsing network
发现论文，激发创造
  • 超越对齐：通过解析引导的时域一致性变换进行盲视频人脸修复

    基于语义解析的时间相干转换器 (PGTFormer) 的盲视频人脸修复方法在保持时间相干性、生成无瑕疵结果方面表现出色，通过利用语义解析引导选取最优人脸先验生成具备时间相关性的结果，实验表明该方法优于之前的基线方法。

    Apr, 2024

  • 深度人脸修复综述：从非盲目到盲目以及更多

    面部修复是图像修复中的一个专业领域，旨在将低质量的面部图像恢复为高质量的面部图像。本论文首先考察了导致真实世界低质量图像的普遍因素，并介绍了合成低质量图像的降质技术。我们还讨论了该领域常用的重要基准，并根据不同任务对面部修复方法进行分类并解释了它们的演化过程。此外，我们探讨了在修复过程中常用的各种面部先验知识，并讨论了增强其有效性的策略。在实验部分，我们使用统一基准全面评估了最先进的面部修复方法在各种任务上的性能，并从不同的角度分析了它们的表现。最后，我们讨论了面部修复领域面临的挑战，并提出了未来发展的潜在方向。本工作的开源代码库可以在 https://github.com/24wenjie-li/Awesome-Face-Restoration 找到。

    Sep, 2023

  • HiFaceGAN: 基于协同压抑与补偿的人脸修复

    本研究针对现有的面部修复技术的限制，提出了一种名为 Face Renovation（FR）的语义引导生成方法，并采用协同抑制补充（CSR）策略解决这个更具挑战性和实际问题，最终构建了多阶段嵌套 CSR 单元的 HiFaceGAN。实验证明，HiFaceGAN 在包含丰富背景干扰的真实图像中具有出色的修复性能，展示了其在面部图像处理中的多用途、稳健性和泛化能力。

    May, 2020

  • 具有生成先验的多模态人脸风格化

    本文提出了一种支持多模式脸部艺术风格化的框架，利用 StyleGAN 的优势，并将其集成到编码器 - 解码器架构中进行高质量的面部生成，输出结果显示该框架在一次和零次风格化任务中均能实现比现有方法更出色的面部风格化性能。

    May, 2023

  • PFStorer：个性化人脸修复与超分辨率

    我们探索了个性化人脸修复模型的潜力，通过使用扩散模型个性化恢复模型，保留细节的同时实现对身份的量身定制，通过使用独立的可训练模块以充分利用基础恢复模型的丰富先验信息，并通过引入生成规则器来避免模型依赖低质量图像中遗留的身份部分，我们展示了我们的方法在多个真实场景中对多个身份的鲁棒性能，并通过用户研究评估了生成细节的感知质量和忠实度，我们的方法被评为最佳的 61%。

    Mar, 2024

  • GCFSR: 一种基于生成和控制的人脸超分辨率方法，无需利用面部和 GAN 先验知识

    本文介绍了一种基于 GAN 先验的面部图像超分辨率方法，通过特征调制和风格调制生成更加真实的面部细节并保留识别信息，对比现有方法，该方法可以在不需要额外先验的情况下从头开始训练，并可在测试时通过特征调制实现不同的生成效果。

    Mar, 2022

  • 多阶段渐进式图像修复

    该研究提出了一种名为 MPRNet 的多阶段架构，使用编码器 - 解码器架构学习上下文信息和高分辨率分支，结合像素自适应设计重新加权本地特征，从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡，该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。

    Feb, 2021

  • 稳健的无监督 StyleGAN 图像修复

    本文提出了一种基于 GAN 的图像去噪、增强方法，引入了 3 个阶段渐进式潜空间扩展和保守优化器，使该方法对于多种不同水平的退化具有鲁棒性，效果比其他基于 StyleGAN 和扩散方法的方法更好。

    Feb, 2023

  • 基于语义解析变换的无监督人物图像生成

    本文提出了一种无监督学习的姿态引导的人物图像生成方法，通过将生成人体的硬映射分解为语义解析和外貌生成两个子任务的形式，实现了人体的变形生成。

    Apr, 2019

  • 野外瞎目人脸修复的 GAN 预测嵌入网络

    该研究提出了一种将基于生成对抗网络的高质量人脸图像生成器嵌入到 U 型深度神经网络中的盲目人脸修复方法，其能更好地控制全局脸部结构、局部面部细节和背景，并在野外环境下显著提高盲目人脸修复的效果。

    May, 2021