Mar, 2024

DiffusionAct：可控的一次性人脸仿真的扩散自编码器

PDF
TL;DRDiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。
video-driven neural face reenactmentfacial imagesdiffusion probabilistic modelsdiffusionactface pose editing
发现论文，激发创造
  • AniFaceDiff：面部参数条件扩散模型在高保真人脸复原中的应用

    通过稳定扩散技术，提出了一种名为 AniFaceDiff 的新方法，通过增强的 2D 面部快照调节和表情适配机制实现高保真度的人脸复制，展示了在人脸复制中的卓越图像质量、身份保留和表情准确性的超过其他方法的结果

    Jun, 2024

  • DiffuseGAE：通过解耦表示的可控高保真图像操作

    本篇研究介绍 Diff-AE 与 GAE 两种基于 Diffusion probabilistic models 的编码器模型，实现由多个属性进行图像编辑和生成，大大降低了计算需求，并达到了相当不错的效果，对潜在特征得到了更好的分离。

    Jul, 2023

  • 通过自监督分离身份和姿势实现逼真的人脸复原

    本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演图像的优异品质和在不同身份之间转移面部动作的灵活性。

    Mar, 2020

  • 因果扩散自编码器：通过扩散概率模型实现反事实生成

    提出了 CausalDiffAE，一种基于扩散的因果表示学习框架，能够根据指定的因果模型实现反事实生成，并通过编码器从高维数据中提取语义上有意义的因果变量，以及使用神经网络参数化潜在因果变量之间的因果机制。

    Apr, 2024

  • 扩散视频自编码器：通过分离视频编码实现时态一致的人脸视频编辑

    本文提出了一种基于扩散自编码器的全新的人脸视频编辑框架，该框架能够成功地从给定的视频中提取分解特征 - 首次作为人脸视频编辑模型 - 并且允许我们通过简单地操纵时间不变的特征来实现视频编辑，以解决在编辑帧之间的时间一致性等问题。该模型还具有重建和编辑能力，能够处理野外人脸视频中的极端情况，例如遮挡的人脸。

    Dec, 2022

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • 使用外貌自适应归一化进行单次面部换脸重现

    本文提出了一种新颖的生成对抗网络，用于单次面部再现，能够在保持面部原始外观的同时对单个面部图像进行不同的姿势和表情动画效果。作者们设计了外观自适应归一化机制和本地网络结构，用于集成外观信息和优化脸部生成器，实现更加精准的面部再现表达。实验结果表明，该模型在单次方法中取得了显著的效果提升。

    Feb, 2021

  • ReenactGAN: 基于边缘传递学习复制面部表情

    提出了一种名为 ReenactGAN 的基于学习的框架，可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间，使用变形器进行调整，最终生成重现的目标面孔，这一过程可以在实时（30 FPS 的 GTX 1080 GPU 上）中执行。

    Jul, 2018

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023