- 基于排名的无参考人脸换脸质量评估
面部交换已成为计算机视觉和图像处理领域的一个突出研究方向,本研究提出了一种新的面部交换无参考图像质量评估方法,通过构建一个综合的大规模数据集,实现基于多个面部属性的图像质量排名方法,以及基于可解释性定性比较的连体网络,改进了面部交换模型的表 - 用于 Fine-Grained ID 和属性控制的预训练扩展模型的脸部适配器
通过引入高效有效的 Face-Adapter,我们旨在解决资源密集型的训练问题,从而实现预训练扩散模型的高精度和高保真度的人脸编辑,该模型在运动控制精度、ID 保留能力和生成质量方面具有可比甚至优越的表现。
- SwapTalk:基于音频驱动的一键定制潜空间内的说话人脸生成
通过结合人脸交换和嘴唇同步技术,本文提出了一种创新的统一框架 SwapTalk,在相同的潜在空间中同时完成人脸交换和嘴唇同步任务,并引入了专家鉴别器指导和身份一致性度量等技术提高视频质量、同步准确性和身份一致性。
- 基于扩散模型的人脸交换
基于扩散模型的人脸交换技术,利用 IP-Adapter、ControlNet、以及 Stable Diffusion 的修复工艺实现人脸特征编码、多条件生成和修复操作,更进一步通过面部指导优化和 CodeFormer 进行混合提高生成质量。
- LatentSwap:一种高效的人脸换脸潜码映射框架
提出了一种简单的人脸交换框架 LatentSwap,用于生成给定生成器的人脸交换潜在编码。利用随机采样的潜在编码,该框架轻巧且不需要数据集,只需使用预训练模型进行训练过程即可。损失目标只包括三个项,能够有效控制源图像和目标图像之间的人脸交换 - 自鉴换脸:基于形状不可知掩蔽自编码器的自监督人脸换脸
通过引入自重建训练方案,使用 Shape Agnostic Masked AutoEncoder(SAMAE)来解决传统方法的局限性,包括模型训练不稳定性、目标身份泄露问题和形状错位问题,以实现在保留身份和非身份属性的同时,超越其他基准方法 - 通过聚焦视线的损失项缓解人脸交换中的怪异感
面部交换研究中,我们探讨了观察者对面部交换的感知,特别关注了反常谷效应的存在。我们提出了一种新的训练模型方法,通过利用预先训练的凝视估计网络来直接改善对眼睛的表示。研究结果表明,面部交换会引起观察者的反常反应,但通过我们的方法可以显著减少面 - 高保真人脸换脸与风格融合
通过一个创新的端到端框架,我们提出了一种高保真度的面部交换方法,其中使用了深度学习方法中的生成对抗网络(GANs)作为基础,通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块,解决了以往面部交换方法中的混合不一致、失真、伪影 - 自动身份识别对音频视觉深度伪造的漏洞
该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF,其中嘴唇和语音同步,并具有高质量的视觉和音频。研究表明,通过调整现有的预训练深度伪造模型来适应特定身份,可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统,并获得 - 双重防御:面部交换的针对性、可追踪和隐形的鲁棒水印技术
通过结合可追踪性和对抗性的新型全面主动防御机制 Dual Defense,将单一强大的水印隐式嵌入目标人脸,有效应对恶意人脸交换而引起的安全威胁,保持水印信息的完整性,具备优异的对抗性和可追踪性,并超越当前的防伪方法。
- E4S:通过区域 GAN 反演进行细粒度面部交换
本文介绍了一种新的面部交换方法,称为 “编辑式交换”(E4S),通过精细的面部编辑实现。我们提出了区域 GAN 反演(RGI)方法,可以显式地解开形状和纹理的复杂性,并通过样式和掩码交换简化了面部交换。此外,我们还提出了一种重新着色网络来保 - ExtSwap: 利用扩展潜在映射器实现高质量的人脸换装
使用逐渐增长的预训练 StyleGAN 的结构,提出一种新颖的人脸交换方法,通过分离身份和属性特征,并学习将这些特征映射到扩展潜空间,成功地实现了身份与属性的分离,并在质量和语义潜空间丰富性方面优于许多最先进的人脸交换方法,得到了广泛的实验 - ICCVFIVA:面部图像和视频匿名化与匿名化防御
本文介绍一种新的面部匿名化方法,名为 FIVA,提出了使用身份追踪实现一致的面部匿名化,并保证与原始面部有很强的区别。FIVA 对于 0.001 的误通过率具有 0 的真阳性。我们的工作考虑到了重建攻击这一重要的安全问题,并对对抗性噪声、均 - ECCVMFIM: 百万像素人脸身份修改
本文提出了一种新颖的面部交换框架 Megapixel Facial Identity Manipulation (MFIM),该框架能够生成高质量的图像,通过结合预训练的 StyleGAN 和 GAN-inversion 实现生成高分辨率图 - 通过可靠的监督提升通用人脸交换的可靠性
本研究提出一种可靠的 face swapping 框架,使用 cycle triplets 作为图像级别的指导,并通过 FixerNet 增强下半脸区域的表征,从而提高面部交换网络的性能和身份保留能力。
- 基于 GAN 的司机脸部视频去识别化: NDS 数据中人为因素影响的评估
本文提出了一种基于人工智能的面部替换技术用于去匿名化驾驶员面部数据来解决交通研究数据共享中的隐私问题,并通过实验证明了这种技术在保护驾驶员个人隐私数据和人类行为研究方面的有效性和前景,最终讨论了可能的共享措施。
- 将明确的凝视约束引入面部交换
本研究提出了一种利用凝视识别辅助脸部交换模型训练的新型损失函数,以改善脸部交换过程中的目光朝向问题,实现更自然、逼真的图片生成。结果发现,该方法在改善凝视问题方面表现明显优于现有技术。
- MM用高质量 Deepfake 欺骗现有最先进的 Deepfake 检测技术
本文研究了深度伪造对安全和隐私的威胁,探讨了深度伪造检测器训练数据集中需包含高质量样本,提出了一种基于自编码器的面部交换技术,生成了 90 个高质量深度伪造样本并验证了它们在检测器的训练中具有一定的作用。
- 多模态驱动的人脸语音生成、人脸交换、扩散模型
本研究提出了一种基于 Diffusion Models 和 Texture-Geometry-aware 的面部生成方法,采用基于纹理注视的模块准确地建模源和目标条件中的外观和几何线索之间的对应关系,并结合额外的隐式信息进行高保真度的面部生 - 面部转换器:实现高保真度和准确率的人脸交换
本文描述了一种新颖的人脸交换网络,使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应,实现在交换后的脸部图像中同时保留源身份和目标属性。