Apr, 2021

面部属性转换器实现精准和强健的化妆迁移

PDF
TL;DR本文提出了一种基于 Facial Attribute Transformer（FAT）和其空间变体 Spatial FAT 的高质量化妆转移方法，利用 Transformer 模型语义对源面部和参考面部之间的对应关系和相互作用进行建模，进而准确地估计和转移面部属性，同时通过集成 Thin Plate Splines（TPS），Spatial FAT 还可以转移几何属性，而且在颜色保真度和空间变换方面表现优异，经过严格的定性和定量实验验证了所提出方法的有效性和优越性。
makeup transferfacial attribute transformerthin plate splinescolor fidelityspatial transformation
发现论文，激发创造
  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • 深度本地化化妆迁移网络 - 像超级巨星一样化妆

    本文提出了一种新颖的深度本地化化妆转移网络，可自动为女性推荐最合适的化妆品，并在她的脸上合成化妆品，具有完整的功能，包括化妆品特定功能，局部应用，产生自然的外观结果，控制化妆深度，与使用 Guo 和 Sim，2009 年的方法及 NerualStyle 的两个变量相比，我们的网络表现更好。

    Apr, 2016

  • PSGAN：面部表情姿势健壮空间感知 GAN，用于可定制化化妆迁移

    在该研究中，我们提出了 Pose and expression robust Spatial-aware GAN (PSGAN)，它通过 Makeup Distill Network 来将参考图像的妆容分解为两个空间感知的妆容矩阵，使用 Attentive Makeup Morphing 模块指定从参考图像到源图像的学习方式，并通过 Makeup Apply Network 连接源图像和妆容矩阵来进行妆容转移。实验结果表明，我们提出的 PSGAN 不仅在大幅度姿态和表情变化的情况下取得了最新的研究成果，而且还能够进行部分和颜色可控的妆容转移。

    Sep, 2019

  • DiffFAE：利用空间敏感定制和语义保留推动高保真度的一次性人脸外貌编辑

    DiffFAE 是一个基于扩散的高效一阶段框架，旨在实现高保真的面部外貌编辑。通过使用基于 3D Morphable Model（3DMM）的渲染纹理，采用空间敏感的物理定制（SPC）来确保高保真度和泛化能力；通过引入区域响应的语义组合（RSC）模块来保留源属性；通过一致性正则化来增强编辑可控性。实验证明，DiffFAE 在面部外貌编辑方面具有优越性能，达到了领先水平。

    Mar, 2024

  • 稳定化妆：当现实场景中的化妆转换遇上扩散模型

    我们介绍了一种名为 Stable-Makeup 的新型基于扩散的化妆迁移方法，能够鲁棒地将各种真实世界的化妆应用到用户提供的人脸上。该方法通过预训练的扩散模型和 Detail-Preserving（D-P）化妆编码器来编码化妆细节，并利用内容和结构控制模块来保留源图像的内容和结构信息。我们的方法还通过在 U-Net 中添加化妆交叉注意力层，可以准确地将细节化妆转移到源图像的相应位置。Stable-Makeup 通过内容结构解耦训练可以保持源图像的内容和面部结构。此外，我们的方法表现出较强的鲁棒性和泛化能力，可应用于交叉领域的化妆迁移、以化妆为导向的文本到图像生成等多个任务。大量实验表明，我们的方法在现有化妆迁移方法中取得了最先进的结果，并在多个相关领域具有广泛的潜在应用。

    Mar, 2024

  • 具有几何感知流的实例级面部特征转移

    本篇论文提出了一种基于几何感知流表征的面部特征无对应数据实例级转移方法，配合外推网络和循环一致性框架可以实现跨大姿态和外貌差异的高保真面部特征转移。

    Nov, 2018

  • SARA: 区域对齐与区域自适应归一化的可控化妆迁移

    本文提出了一种新颖的空间对齐和区域自适应归一化方法（SARA），用于实现细节级的妆容迁移，可以处理大尺度空间错位，并实现部位特定和可调节阴影的妆容迁移。实验结果表明，我们的 SARA 方法优于现有方法，在两个公共数据集上达到了最先进的性能。

    Nov, 2023

  • 特征空间转移用于数据增强

    该论文提出了一种新的体系结构 —— 特征转移网络（FATTEN），用于建模由目标姿态变化引起的特征轨迹的数据增强方法，并且该方法在目标识别任务中表现出了良好的泛化效果。

    Jan, 2018

  • 保护面部隐私：通过样式鲁棒化妆转移生成对抗身份面罩

    本文提出了一种名为 AMT-GAN 的新型人脸保护方法，旨在构建具有更强的黑盒传递性和更好的视觉质量的对抗性人脸图像，通过引入新的正则化模块以及联合训练策略来解决对抗噪声和化妆品转移中的循环一致性损失之间的冲突，实现攻击能力和视觉变化之间的理想平衡。广泛的实验验证了该方法能够保持较高的视觉质量，同时在 Face ++，Aliyun 和 Microsoft 等商业 FR API 上实现更高的攻击成功率。

    Mar, 2022

  • 深度身份感知的面部属性转移

    本文利用深度卷积网络模型演示了一种基于身份意识的面部属性转换（DIAT）模型，该模型通过使用掩模网络和属性变换网络协同工作，生成具有参考属性并保持与输入图像相同或相似身份的真实面部图像。通过对属性无关区域进行正确编辑，即使是人脸相关的属性，DIAT 也可以产生视觉上令人印象深刻的结果。

    Oct, 2016