Aug, 2023

ToonTalker：跨领域人脸再现

PDF
TL;DR本文提出了一种用于无配对数据的跨领域面部重现方法，通过转换器为不同领域中的动作在共同的潜变量空间进行对齐和转移，采用两个特定领域的运动编码器和可学习的运动基础记忆单元进行特性捕捉，并通过类比约束使用两个领域的数据进行新颖的跨领域训练方案，实验结果表明我们的方法优于其他竞争方法。
cross-domain face reenactmentcartoon imagevideolatent spacetransformer-based framework
发现论文，激发创造
  • 表情域翻译网络用于跨域头部再现

    通过引入一种新的表情领域转换网络，该网络将人类表情转化为动漫表情，并使用三维几何感知损失函数来保持输入和输出之间的几何一致性，从而在跨表情领域上实现高保真度和一对一的映射，该方法在跨领域头部再现领域取得了重大进展。

    Oct, 2023

  • ReenactGAN: 基于边缘传递学习复制面部表情

    提出了一种名为 ReenactGAN 的基于学习的框架，可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间，使用变形器进行调整，最终生成重现的目标面孔，这一过程可以在实时（30 FPS 的 GTX 1080 GPU 上）中执行。

    Jul, 2018

  • 姿态至动作：带有姿态先验的跨域动作重定位

    通过姿势数据和神经运动合成方法，我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上，实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征，并通过小型或嘈杂的姿势数据集生成逼真的动作，被参与者评为更加享受观看、外观更逼真且表现更加平滑。

    Oct, 2023

  • 一拍即合人脸再现

    该研究提出了一种基于一次学习的人脸复现系统，通过将目标人脸外观和源脸形状投影到潜在空间中，并学习一个共享解码器来使这两个潜在空间相关联，从而实现有效建模。该方法在 Mustache 和 Hair 区域照片合成的质量上比传统方法有很大提高，并且仅用一张目标图像训练便能实现与多张目标图像训练同样令人满意的结果.

    Aug, 2019

  • 使用三维引导进行跨领域和解耦人脸操作

    通过建立人类 3DMM 参数到预先训练好的 StyleGAN2 潜在空间嵌入的解缠映射并进行跨域适应，我们提出了第一种可以在任意域内操纵人脸的方法，以应对现有 3D 可塑模型核心的操纵方法不直接适用于非真实照片、漫画和动物等领域的问题。

    Apr, 2021

  • FSRT：基于分解外貌、头部姿势和面部表情特征的人脸再现的面部场景表示变换器

    人脸再现的任务是将视频中的头部运动和面部表情转移至源图像的外观，可以是不同的人（跨再现）。我们提出了一种基于 Transformer 编码器的方法来计算源图像的一组潜在表示。然后，我们使用基于 Transformer 的解码器预测查询像素的输出颜色，该解码器受到来自驾驶帧的关键点和面部表情向量的条件影响。我们以自监督的方式学习源人物的潜在表示，这种表示分解了外观、头部角度和面部表情，非常适合于跨再现。与大多数相关工作相比，我们的方法自然地扩展到多个源图像，并且可以适应个人特定的面部动态。我们还提出了必要的数据增强和正则化方案，以防止过拟合并支持学习表示的泛化能力。我们在一个随机用户研究中评估了我们的方法，结果表明在运动传输质量和时间一致性方面与最先进方法相比具有卓越性能。

    Apr, 2024

  • 跨域运动转移的运动和外观适应

    本文提出了一个 MAA 方法，实现了跨域运动传输的形状和外观保持，包括引入保持角度信息和结构引导的外观一致性模块，提出的 MAA 模型在数据集 Mixamo-Video to Fashion-Video 和 Vox-Celeb to Cufs 上均有更好的定量和定性效果。

    Sep, 2022

  • 通过自监督分离身份和姿势实现逼真的人脸复原

    本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演图像的优异品质和在不同身份之间转移面部动作的灵活性。

    Mar, 2020

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • 自动人脸重现

    提出了一种基于图像的面部再现系统，其可用于将源视频用户的面孔替换为现有目标视频中演员的面孔，并保留原始目标性能，系统具有全自动化和不需要源表情数据库的特点，使用了图像检索和面部转移以产生令人信服的效果。

    Feb, 2016