May, 2024

用于 Fine-Grained ID 和属性控制的预训练扩展模型的脸部适配器

PDF
TL;DR通过引入高效有效的 Face-Adapter，我们旨在解决资源密集型的训练问题，从而实现预训练扩散模型的高精度和高保真度的人脸编辑，该模型在运动控制精度、ID 保留能力和生成质量方面具有可比甚至优越的表现。
face reenactmentface swappingpre-trained diffusion modelsface-adaptermotion control precision
发现论文，激发创造
  • 基于扩散模型的人脸交换

    基于扩散模型的人脸交换技术，利用 IP-Adapter、ControlNet、以及 Stable Diffusion 的修复工艺实现人脸特征编码、多条件生成和修复操作，更进一步通过面部指导优化和 CodeFormer 进行混合提高生成质量。

    Mar, 2024

  • AniFaceDiff：面部参数条件扩散模型在高保真人脸复原中的应用

    通过稳定扩散技术，提出了一种名为 AniFaceDiff 的新方法，通过增强的 2D 面部快照调节和表情适配机制实现高保真度的人脸复制，展示了在人脸复制中的卓越图像质量、身份保留和表情准确性的超过其他方法的结果

    Jun, 2024

  • IDAdapter: 学习混合特征以实现无需调参的文本到图像模型个性化

    IDAdapter 是一种无需微调的方法，通过在生成过程中结合文本和视觉注入以及面部身份损失，从单个人脸图像中增强个性化图像生成的多样性和身份保留。通过将特定身份的多个参考图像的混合特征融入训练阶段，丰富相关身份的内容细节，指导模型生成具有比以往作品更多样的风格、表情和角度的图像。广泛的评估显示了我们方法的有效性，在生成的图像中实现了多样性和身份保真度。

    Mar, 2024

  • BlendFace: 重新设计面部交换的身份编码器

    本研究提出了 BlendFace，一种用于换脸的新型身份编码器，通过在混合图像上训练面部识别模型并引导生成器，解决了现有方法中存在的身份 - 属性纠缠问题。大量实验证明 BlendFace 在换脸模型中提高了身份与属性的分离效果，并且在定量性能上与之前的方法相当。

    Jul, 2023

  • 基于属性引导扩散模型的面部动画

    该研究提出了一种基于属性引导扩散模型 (FADM) 的面部动画框架，该框架可逐步地改善非自然畸变和伪影。

    Apr, 2023

  • DiffusionAct：可控的一次性人脸仿真的扩散自编码器

    DiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。

    Mar, 2024

  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • FaceController: 野外人脸可控属性编辑

    本文提出了一种基于前馈神经网络的人脸属性编辑方法，该方法可控制，转移和编辑野外人脸的多样属性，允许应用于人脸交换，光照转移和化妆品转移等多种应用。

    Feb, 2021

  • 面孔扩散以实现快速和可编辑的面部个性化

    提出 Face2Diffusion (F2D) 用于高可编辑性的人脸个性化，核心思想是从训练管线中去除与身份无关的信息，改善了编码人脸的可编辑性。

    Mar, 2024

  • 个性化人脸生成中的同时和细粒度身份 - 表情控制

    本文介绍了一个新颖的多模式人脸生成框架，能够同时进行身份 - 表情控制和更细粒度的表情合成，并通过创新设计在条件扩散模型中实现身份和表情的分别控制。实验证明了该框架在可控性和可扩展性上的优越性。

    Jan, 2024