Mar, 2024

稳定化妆：当现实场景中的化妆转换遇上扩散模型

PDF
TL;DR我们介绍了一种名为 Stable-Makeup 的新型基于扩散的化妆迁移方法，能够鲁棒地将各种真实世界的化妆应用到用户提供的人脸上。该方法通过预训练的扩散模型和 Detail-Preserving（D-P）化妆编码器来编码化妆细节，并利用内容和结构控制模块来保留源图像的内容和结构信息。我们的方法还通过在 U-Net 中添加化妆交叉注意力层，可以准确地将细节化妆转移到源图像的相应位置。Stable-Makeup 通过内容结构解耦训练可以保持源图像的内容和面部结构。此外，我们的方法表现出较强的鲁棒性和泛化能力，可应用于交叉领域的化妆迁移、以化妆为导向的文本到图像生成等多个任务。大量实验表明，我们的方法在现有化妆迁移方法中取得了最先进的结果，并在多个相关领域具有广泛的潜在应用。
makeup transferdiffusion-based methodcontent-structure decouplingrobustnessgeneralizability
发现论文，激发创造
  • 深度本地化化妆迁移网络 - 像超级巨星一样化妆

    本文提出了一种新颖的深度本地化化妆转移网络，可自动为女性推荐最合适的化妆品，并在她的脸上合成化妆品，具有完整的功能，包括化妆品特定功能，局部应用，产生自然的外观结果，控制化妆深度，与使用 Guo 和 Sim，2009 年的方法及 NerualStyle 的两个变量相比，我们的网络表现更好。

    Apr, 2016

  • 口红不足以为：野外妆容迁移的去色配对技术

    这项工作介绍了一个全面的化妆迁移框架，可以处理妆容的所有元素，并引入了新的真实和合成极限妆容数据集进行系统的训练和评估。实验结果表明，该框架在轻妆和极限妆上均取得了最先进的性能。

    Apr, 2021

  • 基于扩散模型的人脸交换

    基于扩散模型的人脸交换技术，利用 IP-Adapter、ControlNet、以及 Stable Diffusion 的修复工艺实现人脸特征编码、多条件生成和修复操作，更进一步通过面部指导优化和 CodeFormer 进行混合提高生成质量。

    Mar, 2024

  • 无生成伪造真值进行的无监督化妆迁移的内容风格分离

    通过频率特征分析，本文提出了一种以纯无监督方式工作的内容 - 风格分离化妆转换方法（CSD-MT），通过频率分解来解耦每个面部图像中的内容和化妆风格信息，进而实现化妆转换，并通过引入两种新设计的损失函数进一步提高转换性能。

    May, 2024

  • 面部属性转换器实现精准和强健的化妆迁移

    本文提出了一种基于 Facial Attribute Transformer（FAT）和其空间变体 Spatial FAT 的高质量化妆转移方法，利用 Transformer 模型语义对源面部和参考面部之间的对应关系和相互作用进行建模，进而准确地估计和转移面部属性，同时通过集成 Thin Plate Splines（TPS），Spatial FAT 还可以转移几何属性，而且在颜色保真度和空间变换方面表现优异，经过严格的定性和定量实验验证了所提出方法的有效性和优越性。

    Apr, 2021

  • 基于生成对抗网络的分离化妆品转移

    本文提出了 DMT (Disentangled Makeup Transfer)，这是一种统一的生成对抗网络，可实现不同场景的化妆技术转移，它包含了一个身份编码器和一个化妆编码器来解缠非化妆人脸的个人身份和化妆风格，可产生具备高质量和可控功能的化妆转移结果。

    Jul, 2019

  • COCO 和 Weed 数据集的稳定扩散

    通过稳定扩散模型生成高分辨率图像，并利用这些图像提高检测模型的性能，这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。

    Dec, 2023

  • Adv-Makeup: 一种新的对人脸识别具有隐形性和可迁移性的攻击

    本文提出一种 Adv-Makeup 统一的对抗人脸生成方法，实现在黑盒环境下的不可察觉和可转移攻击，它使用任务驱动的化妆生成方法和精细的元学习对抗攻击策略，能够在数字和物理环境下生成更为不可察觉的攻击，并显著提高黑盒环境下的攻击成功率。

    May, 2021

  • SARA: 区域对齐与区域自适应归一化的可控化妆迁移

    本文提出了一种新颖的空间对齐和区域自适应归一化方法（SARA），用于实现细节级的妆容迁移，可以处理大尺度空间错位，并实现部位特定和可调节阴影的妆容迁移。实验结果表明，我们的 SARA 方法优于现有方法，在两个公共数据集上达到了最先进的性能。

    Nov, 2023

  • PSGAN：面部表情姿势健壮空间感知 GAN，用于可定制化化妆迁移

    在该研究中，我们提出了 Pose and expression robust Spatial-aware GAN (PSGAN)，它通过 Makeup Distill Network 来将参考图像的妆容分解为两个空间感知的妆容矩阵，使用 Attentive Makeup Morphing 模块指定从参考图像到源图像的学习方式，并通过 Makeup Apply Network 连接源图像和妆容矩阵来进行妆容转移。实验结果表明，我们提出的 PSGAN 不仅在大幅度姿态和表情变化的情况下取得了最新的研究成果，而且还能够进行部分和颜色可控的妆容转移。

    Sep, 2019