口红不足以为:野外妆容迁移的去色配对技术
我们介绍了一种名为 Stable-Makeup 的新型基于扩散的化妆迁移方法,能够鲁棒地将各种真实世界的化妆应用到用户提供的人脸上。该方法通过预训练的扩散模型和 Detail-Preserving(D-P)化妆编码器来编码化妆细节,并利用内容和结构控制模块来保留源图像的内容和结构信息。我们的方法还通过在 U-Net 中添加化妆交叉注意力层,可以准确地将细节化妆转移到源图像的相应位置。Stable-Makeup 通过内容结构解耦训练可以保持源图像的内容和面部结构。此外,我们的方法表现出较强的鲁棒性和泛化能力,可应用于交叉领域的化妆迁移、以化妆为导向的文本到图像生成等多个任务。大量实验表明,我们的方法在现有化妆迁移方法中取得了最先进的结果,并在多个相关领域具有广泛的潜在应用。
Mar, 2024
本文提出了一种新颖的深度本地化化妆转移网络,可自动为女性推荐最合适的化妆品,并在她的脸上合成化妆品,具有完整的功能,包括化妆品特定功能,局部应用,产生自然的外观结果,控制化妆深度,与使用 Guo 和 Sim,2009 年的方法及 NerualStyle 的两个变量相比,我们的网络表现更好。
Apr, 2016
本文提出了一种基于 Facial Attribute Transformer(FAT)和其空间变体 Spatial FAT 的高质量化妆转移方法,利用 Transformer 模型语义对源面部和参考面部之间的对应关系和相互作用进行建模,进而准确地估计和转移面部属性,同时通过集成 Thin Plate Splines(TPS),Spatial FAT 还可以转移几何属性,而且在颜色保真度和空间变换方面表现优异,经过严格的定性和定量实验验证了所提出方法的有效性和优越性。
Apr, 2021
提出了 CA-GAN 模型,用于学习可控的妆容风格颜色合成,能够在保留背景的同时将图像特定对象(例如嘴唇或眼睛)的颜色修改为任意目标颜色,该方法利用弱监督学习进行条件 GAN 训练,无需获取稀少且昂贵的颜色标签,为复杂对象的可控合成提供一种解决方案,同时提供了妆容风格迁移和颜色控制性能的定量分析。
Aug, 2020
通过从最少三到五张不同类型的图像中获得艺术灵感并直接在人脸上进行实际化妆,本研究介绍了一种名为 $Gorgeous$ 的新型基于扩散的化妆方法,能够创造独特和主题化的角色妆容,并能有效地与更广泛的故事元素进行集成,从而提升叙事深度和视觉冲击力。
Apr, 2024
通过频率特征分析,本文提出了一种以纯无监督方式工作的内容 - 风格分离化妆转换方法(CSD-MT),通过频率分解来解耦每个面部图像中的内容和化妆风格信息,进而实现化妆转换,并通过引入两种新设计的损失函数进一步提高转换性能。
May, 2024
本文提出了一种新颖的空间对齐和区域自适应归一化方法(SARA),用于实现细节级的妆容迁移,可以处理大尺度空间错位,并实现部位特定和可调节阴影的妆容迁移。实验结果表明,我们的 SARA 方法优于现有方法,在两个公共数据集上达到了最先进的性能。
Nov, 2023
本文提出一种 Adv-Makeup 统一的对抗人脸生成方法,实现在黑盒环境下的不可察觉和可转移攻击,它使用任务驱动的化妆生成方法和精细的元学习对抗攻击策略,能够在数字和物理环境下生成更为不可察觉的攻击,并显著提高黑盒环境下的攻击成功率。
May, 2021
该论文提出了一种新颖的区域风格转换方法,通过利用分割网络精确地分离输入图像中的前景对象,并将风格转换应用于背景区域,再将分离的前景对象与转换后的背景巧妙地合并,使用颜色转换和羽化技术增强前景和背景之间的视觉一致性,从而实现了更自然的风格转换。
Apr, 2024