Oct, 2023

表情域翻译网络用于跨域头部再现

PDF
TL;DR通过引入一种新的表情领域转换网络，该网络将人类表情转化为动漫表情，并使用三维几何感知损失函数来保持输入和输出之间的几何一致性，从而在跨表情领域上实现高保真度和一对一的映射，该方法在跨领域头部再现领域取得了重大进展。
head reenactmentcross-domainanimeexpression domain translation network3d geometric-aware loss function
发现论文，激发创造
  • ToonTalker：跨领域人脸再现

    本文提出了一种用于无配对数据的跨领域面部重现方法，通过转换器为不同领域中的动作在共同的潜变量空间进行对齐和转移，采用两个特定领域的运动编码器和可学习的运动基础记忆单元进行特性捕捉，并通过类比约束使用两个领域的数据进行新颖的跨领域训练方案，实验结果表明我们的方法优于其他竞争方法。

    Aug, 2023

  • 从人类到模型角色的面部表情再现简化

    本文提出了一种基于非线性表情嵌入和表情域翻译的跨域表情转移技术，通过低维潜空间、几何约束、感知约束和用户友好的技术，实现了人脸表情转移到虚拟角色上，并且在大范围实验和用户研究中证明了该方法的高效性和高质量。

    Aug, 2020

  • AnimeCeleb：用于头部再现的大规模动画名人数据集

    我们提出了一种新的 Animation CelebHeads（AnimeCeleb）数据集，利用 3D 动画模型作为可控图像采样器，为头部动画重现提供了大量的头部图像和对应的详细姿势注释，借助半自动流水线构建注释系统，通过 AnimeCeleb 进行训练，我们的跨域头部重新表演模型在推断过程中可以轻松地将用户的动作转移到任意的动画头部，证明 AnimeCeleb 对于训练动画头部重现模型的实用性以及我们的跨域头部重新表演模型相比现有最先进的方法的优越性。

    Nov, 2021

  • Head2HeadFS：基于视频的头部逆向再现，低样本学习

    提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。

    Mar, 2021

  • 多域范式编码实现面部表情识别数据高效迁移学习

    研究提出了一种基于生物学启发机制的面部表情识别传递学习方法，依靠领域特定的参考向量来编码模式，实现了高数据效率的跨多个领域的学习，较少量的图像即可实现 92.15％的分类准确率，这一方法提供了人脑如何在变化的头部形状（人类，猴子和卡通头像）上天生识别面部表情的解释。

    Apr, 2023

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • 使用三维引导进行跨领域和解耦人脸操作

    通过建立人类 3DMM 参数到预先训练好的 StyleGAN2 潜在空间嵌入的解缠映射并进行跨域适应，我们提出了第一种可以在任意域内操纵人脸的方法，以应对现有 3D 可塑模型核心的操纵方法不直接适用于非真实照片、漫画和动物等领域的问题。

    Apr, 2021

  • ReenactGAN: 基于边缘传递学习复制面部表情

    提出了一种名为 ReenactGAN 的基于学习的框架，可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间，使用变形器进行调整，最终生成重现的目标面孔，这一过程可以在实时（30 FPS 的 GTX 1080 GPU 上）中执行。

    Jul, 2018

  • 3DFlowRenderer: 基于密集三维面部流估计的一次性面部再制作

    在这篇论文中，我们提出了一种新的变形技术，将 2D 和 3D 方法的优势结合起来，以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场，并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间，从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域，然后学习对由于源面孔平移而需要填充的空白区域进行修复，我们重建了细节丰富的背景，而且在渲染无伪影的面部图像方面超过了现有技术。

    Apr, 2024

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018