ECCVAug, 2023

MFIM: 百万像素人脸身份修改

PDF
TL;DR本文提出了一种新颖的面部交换框架 Megapixel Facial Identity Manipulation (MFIM)，该框架能够生成高质量的图像，通过结合预训练的 StyleGAN 和 GAN-inversion 实现生成高分辨率图像。同时，通过使用 3DMM 捕捉多样的面部属性并显式监督模型生成具有所需属性的面部交换图像，实现了有效地转换给定图像的身份。在大量实验证明，我们的模型达到了最先进的性能。此外，我们还提出了一种新的操作方法叫做身份混合，可以通过语义混合多个人的身份来创建新的身份，为用户提供定制化的新身份。
face swappingimage generationidentity transformationstyleganid mixing
发现论文，激发创造
  • 百万像素下的一键换脸技术

    本文提出了首个 Megapixel 级的一键式人脸换脸方法（MegaFS）， 通过分层表示人脸编码器 (HieRFE) 及面部转移模块 (FTM) 来体现更多的面部细节， 同时利用 StyleGAN2 进行合成。此方法具有完整的面部表示、稳定的训练和有限的内存使用， 通过广泛的实验和在公共领域发布的第一个 Megapixel 级别的人脸交换数据库证明了其优越性，为 DeepFake 检测和人脸图像编辑研究做出了积极的贡献。

    May, 2021

  • SimSwap：一种高保真人脸交换的高效框架

    提出了一种高效的面部交换框架，称为 Simple Swap (SimSwap)，具有泛化和高保真度。通过使用 ID Injection Module (IIM) 将源面的身份信息传输到目标面，并通过提出的 Weak Feature Matching Loss 实现对特征的匹配，以实现属性的保留。在野外面部图像上的广泛实验表明，我们的 SimSwap 能够实现与先前最先进方法相同的身份性能，同时更好地保留属性。

    Jun, 2021

  • MobileFaceSwap: 一个用于视频人脸交换的轻量级框架

    提出了一种轻量级的 IDN 人脸交换模型，可用于移动设备上的实时应用，采用动态调整的方法设计了高效的身份注入模块和知识蒸馏方法。在参数量和计算量上得到了大幅优化，可用于任意目标图片和视频的面部交换，并取得了与其他先进方法相当的效果。

    Jan, 2022

  • HifiFace：3D 形状和语义先验引导的高保真人脸交换

    本文提出了一种高保真人脸交换方法，称为 HifiFace，它可以很好地保留源脸部的脸型并生成逼真的结果。该方法采用 3D 形状感知身份来控制面部形状，并使用网络优化融合技术，使生成结果更逼真。大量的面部实验表明，我们的方法能够保持更好的身份特征，尤其是面部形状，并且比之前的最先进方法生成更逼真的结果。

    Jun, 2021

  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • GIM：百万级生成图像操作检测与定位的基准测试

    我们设计了一个局部操作流程，融合了 SAM、ChatGPT 和生成模型，并提出了 GIM 数据集，该数据集具有大规模、丰富的图像内容和多样的生成操纵，能够更全面地评估 IMDL 方法并扩展其在不同图像上的适用性。此外，我们还提出了一种新颖的 IMDL 框架 GIMFormer，在 GIM 数据集上进行的大量实验证明了其在两个不同基准测试上明显超过了先前的最新工作。

    Jun, 2024

  • FaceStudio：在几秒钟内将您的脸放到任何地方

    本研究通过引入直接前馈机制和混合引导框架，以人物图像为重点，实现了保留主体身份的图像合成，旨在快速高效生成艺术肖像和身份融合图像，并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。

    Dec, 2023

  • FaceForensics++: 检测篡改的面部图像学习

    本文对当前合成图像生成和处理技术的发展进行了探讨，并提出了一个基于 DeepFakes，Face2Face，FaceSwap 和 NeuralTextures 的面部操作检测基准，包括超过 180 万个操纵图像的数据库，并通过数据驱动型假冒检测器的详尽分析证明了使用额外领域特定知识的方法能够显著提高假冒检测的准确性。

    Jan, 2019

  • FSNet: 基于身份认知的图像人脸交换生成模型

    本文介绍了一种基于深度生成模型的图像人脸交换技术，使用神经网络代替面部纹理，应用于只需提供两张面部图像的交换中，能够更好地处理不同面孔朝向和光照条件的情况，并在多个实验中证明了该方法优于现有方法。

    Nov, 2018

  • 通过减少模型能力浪费来改进基于像素的 MIM

    本文通过一系列实证研究确认了基于像素的遮罩图像建模存在的限制，并提出一种利用来自浅层的低级特征辅助像素重建的新方法。将该设计纳入基本方法 MAE 中，我们减少了基于像素的遮罩图像建模的建模能力浪费，提高了其收敛性并在多个下游任务中取得了实质性的改进。据我们所知，我们是首次系统研究多级特征融合在类似标准 Vision Transformer（ViT）的各向同性架构中的应用。值得注意的是，当应用于较小的模型（例如 ViT-S）时，我们的方法在微调、线性探测和语义分割等方面取得了显著的性能提升。代码和模型可在此 https 链接获得。

    Aug, 2023