基于 GAN 的面部视频修复中的现实地标导向
本文提出了一种基于深度学习的人脸修复算法,结合人脸关键点预测和图像修复,实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明,该算法在视觉效果和定量评估上均超过了现有算法。同时,本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能,在 300W 和 WFLW 数据集上也得到了验证。
Nov, 2019
基于生成对抗网络(GANs)的表情感知视频修复(EVI-HRnet)网络通过使用用户的面部关键点和单一无遮挡参考图像,有效地填补头戴式显示器屏蔽的信息,并通过引入面部表情识别损失函数实现情感保留,从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份,并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法,无需额外的硬件,有潜力增强各种协作的扩展性应用。
Jan, 2024
COVID-19 全球大流行对人脸识别带来了新的挑战,掩面的现象出现后,作者考虑利用图像修复中的机器学习方法来解决这个问题,并通过生成对抗网络(GAN)的生成能力和 autoencoder 的潜力,实现对原本被口罩遮挡的部分进行完整性修复。
Sep, 2023
本文提出了一种协作式对抗学习算法 (collaborative GAN,简称 collaGAN),结合面部完成 (face completion)、地标检测 (landmark detection) 和语义分割 (semantic segmentation) 等多项任务,以明确和增强语义知识,优化面部完成任务。大量实验证明该算法产生了卓越的性能表现,优于其他生成图像修复模型和单项任务学习方法。
Dec, 2018
我们提出了一种新颖的基于示例引导的面部修复框架 EXE-GAN,它利用生成对抗网络来维护原始面部图像的质量,并通过同步使用输入图像的全局风格,随机潜在编码产生的随机风格和范例图像的示例风格来完整图像的典型面部属性。为了保证修复区域的自然过渡,我们介绍了一种新颖的空间变量梯度反向传播技术,通过基于空间位置调整损失梯度来实现。在公共 CelebA-HQ 和 FFHQ 数据集上的广泛评估和实际应用验证了 EXE-GAN 在面部修复的视觉质量方面的优越性。
Feb, 2022
本研究提出了一种基于深度学习的自由形式视频修复模型,采用 3D 时域门控卷积和新颖的时间 PatchGAN loss 解决非重复的结构物体遮挡及时间上的一致性问题,并通过收集视频并设计自由形式掩膜生成算法来构建 FVI 数据集,该模型被证明优于现有方法,特别适用于文字去除等视频编辑方向。
Apr, 2019
本文提出利用面部标志信息的地标引导生成对抗网络(LandmarkGAN), 用于使用单张图像进行面部表情转换,实现了在同样只有一张图像的情况下,比现有的基于关键点指导法更好地实现了面部表情之间的转换。
Sep, 2022
本文提出了一个包含真实照片、生成照片和编辑照片的面部取证定位数据集,并演示了通过在输入图像中显式添加面部标志信息,提高面部索证检测和定位性能的方法。
Oct, 2019
本文提出了一种通过使用面部覆盖蒙版的条件生成式对抗网络生成更具多样性、质量、可控性的逼真面部,该方法可用于本地面部编辑、面部合成和交换,同时提供了数据增强的选项以加强面部分析的性能。
May, 2019