ECCVNov, 2021

AnimeCeleb：用于头部再现的大规模动画名人数据集

PDF
TL;DR我们提出了一种新的 Animation CelebHeads（AnimeCeleb）数据集，利用 3D 动画模型作为可控图像采样器，为头部动画重现提供了大量的头部图像和对应的详细姿势注释，借助半自动流水线构建注释系统，通过 AnimeCeleb 进行训练，我们的跨域头部重新表演模型在推断过程中可以轻松地将用户的动作转移到任意的动画头部，证明 AnimeCeleb 对于训练动画头部重现模型的实用性以及我们的跨域头部重新表演模型相比现有最先进的方法的优越性。
发现论文，激发创造
  • 表情域翻译网络用于跨域头部再现

    通过引入一种新的表情领域转换网络，该网络将人类表情转化为动漫表情，并使用三维几何感知损失函数来保持输入和输出之间的几何一致性，从而在跨表情领域上实现高保真度和一对一的映射，该方法在跨领域头部再现领域取得了重大进展。

    Oct, 2023

  • SingingHead: 用于歌唱头部动画的大规模 4D 数据集

    我们收集了一个高质量的大规模歌唱头部数据集，SingingHead，它包括来自 76 个个体和 8 种音乐类型的超过 27 小时的同步歌唱视频、3D 面部动作、歌唱音频和背景音乐。结合 SingingHead 数据集，我们提出了一个统一的歌唱面部动画框架 UniSinger，实现了通过歌唱音频驱动的 3D 歌唱头部动画和 2D 歌唱肖像视频合成。与 SOTA 的 3D 面部动画和 2D 肖像动画方法进行了广泛比较实验，证明了歌唱头部动画任务中歌唱特定数据集的必要性以及我们统一面部动画框架的良好性能。

    Dec, 2023

  • Head2HeadFS：基于视频的头部逆向再现，低样本学习

    提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。

    Mar, 2021

  • RenderMe-360: 高保真头像数字素材库及基准测试

    本文提出了 RenderMe-360 数据集，这是一个包含了头像高度完整 4D 数据的大规模数字库。数据集包含了 243 + 万个完整的头框架和来自 500 个不同身份的超过 800k 个视频序列，是一个高保真度和高多样性的数据库，提供了丰富的属性和几何风格。该数据集还提供不同粒度的注释，并在头像研究的五项主要任务上进行了全面的基准测试。本文的实验揭示了当前方法的优缺点，表明 RenderMe-360 将开启未来头像研究领域的探索之门。

    May, 2023

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • 通过神经重新参数化优化生成的大规模 3D 人脸网格视频数据集

    借助神经重参数化优化，我们提出了一种视频中的 3D 人脸网格伪标注方法 NeuFace。通过 NeuFace 优化方法，我们在大规模人脸视频上注释了每个视角 / 帧的准确一致的人脸网格，称为 NeuFace 数据集。我们研究了神经重参数化如何通过梯度分析在 3D 网格上重建与图像对齐的面部细节。通过利用我们数据集中 3D 人脸的自然性和多样性，我们展示了该数据集在改善现有 3D 人脸重建模型的重建精度和学习 3D 面部运动先验方面的实用性。代码和数据集将可在此 https 网址获取。

    Oct, 2023

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • ToonTalker：跨领域人脸再现

    本文提出了一种用于无配对数据的跨领域面部重现方法，通过转换器为不同领域中的动作在共同的潜变量空间进行对齐和转移，采用两个特定领域的运动编码器和可学习的运动基础记忆单元进行特性捕捉，并通过类比约束使用两个领域的数据进行新颖的跨领域训练方案，实验结果表明我们的方法优于其他竞争方法。

    Aug, 2023

  • DAD-3DHeads：一种适用于单幅图像的大规模密集、准确和多样化的 3D 头部对齐数据集

    DAD-3DHeads 数据集提供了 3.5k 个准确地表示 3D 头部形状的标记点，DAD-3DNet 以数据驱动方式训练，学习了形状，表情和姿态参数，可用于在野外进行 3D 面部对齐及姿态等任务的精确实现，在 3D Head Pose Estimation、3D Face Shape Reconstruction 以及 3D Dense Head Alignment 任务中均表现优异，丰富的数据种类可用作该领域性能的比较。

    Apr, 2022

  • CelebV-HQ：一个大规模的视频人脸属性数据集

    提出了一个包含 83 个面部属性注释的大规模高质量视频数据集，名为 CelebV-HQ，该数据集中包含 35666 个视频剪辑以及 15653 个身份，其可用于模型的训练与验证，通过无条件视频生成和视频面部属性编辑验证其实用性和潜力，并展示了数据集的多样性和时间连续性。

    Jul, 2022