Apr, 2019

从风格化肖像中恢复保持身份特征的人脸

PDF
TL;DR本文提出了一种 IFRP 方法，结合了 SRN 和 DN 网络，通过 STN 自动矫正艺术肖像图像的定位问题，并使用 FaceNet 网络检测提取人脸特征，从而实现从不对齐的肖像中恢复出保留主体身份的高质量真实面部图像。
identity-preserving face recoverystyle removal networkdiscriminative networkspatial transformer networkphotorealistic faces
发现论文，激发创造
  • 人脸去卡通化

    本文提出了一种人脸去艺术化的神经网络方法，可以从艺术化图像中恢复出潜在的真实人脸图像，并且证明了该方法的高效性以及可以处理未曾接触过的艺术化图像。

    Feb, 2018

  • 边缘和身份保留网络用于人脸超分辨率

    该论文提出了一种有效的人脸超分辨率恢复方法，称为 EIPNet，采用轻量级边缘块和身份信息来最小化变形。该方法还定义了身份损失函数来保留 SR 图像的身份信息，提供了 LCE 方法来分别推断 SR 图像中的亮度和颜色信息，并使网络能够在 RGB 和 YUV 两个颜色空间中反映 SR 图像与它们的 Ground Truth 之间的差异。大量实验证明，该网络在两个具有挑战性的数据集 CelebA 和 VGGFace2 上表现优于最先进的方法。

    Aug, 2020

  • 使用身份一致的迁移学习提升渲染肖像的真实性

    本文提出了一个新的照片逼真人像生成框架，可以有效减轻「奇异山谷」效应，提高渲染人像的真实性。使用转移学习从渲染人像的潜在空间学习到真实人像的潜在空间的一致映射，使虚拟角色的人像在外观风格改变的同时保持面部身份的不变，通过细化 StyleGAN2 生成器以保留与面部身份相关的几何和色彩特征。通过定性和定量评估以及消融实验，证明了我们的方法相较于现有方法的优势。

    Oct, 2023

  • PFStorer：个性化人脸修复与超分辨率

    我们探索了个性化人脸修复模型的潜力，通过使用扩散模型个性化恢复模型，保留细节的同时实现对身份的量身定制，通过使用独立的可训练模块以充分利用基础恢复模型的丰富先验信息，并通过引入生成规则器来避免模型依赖低质量图像中遗留的身份部分，我们展示了我们的方法在多个真实场景中对多个身份的鲁棒性能，并通过用户研究评估了生成细节的感知质量和忠实度，我们的方法被评为最佳的 61%。

    Mar, 2024

  • 部分人员再识别的深度空间特征重构：无需对齐的方法

    本文提出了一种基于完全卷积神经网络的快速准确的匹配方法，结合了深度空间特征重建和字典学习模型来映射不同的部分人物图像以解决局部人物再识别问题，并在多个数据集上进行的实验证明了该方法的有效性和效率。

    Jan, 2018

  • 基于重建的位姿不变人脸识别解耦

    本文探讨了一种基于深度神经网络的人脸识别方法，针对面部不同位置的姿态变化，在训练数据相对不足的情况下，通过生成非正面视图，提高了数据多样性，并利用特征重建度量学习来显式地分离身份和姿态，实现了不变性和识别准确性。

    Feb, 2017

  • 超越脸部旋转：全局和局部感知 GAN 用于逼真且保留身份特征的前方合成

    本文提出了一种基于 TP-GAN 网络的真实主观正面合成方法，通过引入对局部纹理的注意力网络，并结合对称损失、身份保留损失等方式来解决这个本质上存在不确定性的挑战性问题。实验结果表明，该方法不仅在感知结果上表现出色，而且在大角度人脸识别方面也优于现有的最新方法。

    Apr, 2017

  • E2F-Net：通过 StyleGAN 潜空间进行眼睛到面部修补

    该研究提出了一种基于生成对抗网络的新模型（E2F-Net），通过从眼部至面部的区域提取身份和非身份特征，并将其映射到预训练的 StyleGAN 生成器的潜空间中，实现面部修复和重构。通过大量实验证明，该方法在较少的训练和监督努力的情况下成功重建了具有高质量的整个面部，超过了当前的技术水平。

    Mar, 2024

  • 肖像风格化：人脸风格化的辅助网络艺术风格转换

    本文提出了一种利用辅助预训练人脸识别模型的嵌入特征来促进图像风格转移算法将内容图像中的人脸特征传播到最终风格化结果，以解决现有方法在整个风格化过程中难以保留人脸的个体特征的问题。

    Sep, 2023

  • ToonAging: 艺术肖像风格转换下的人脸再老化

    在本文中，我们引入了一种新颖的一阶段面部恢复年轻化方法，并结合肖像风格转换，在单个生成步骤中执行。我们利用现有的面部恢复年轻化和风格转换网络，两者均在相同的 PR 领域内进行训练。我们的方法独特地融合了不同的潜在向量，每个向量负责管理与年龄相关的属性和 NPR 外观。采用示例为基础的方法，我们的方法比领域级精调方法提供了更大的灵活性，这些方法通常需要针对每个领域进行单独训练或精调。我们的实验表明，我们的模型可以轻松生成年轻化的图像，同时保持示例的风格，保持自然外观和可控性。

    Feb, 2024