ECCVJul, 2020

学习生成定制的动态三维面部表情

PDF
TL;DR本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画，重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术，结合表情识别模型，以高分辨率的四维扫描数据集为基础，成功地实现了对面部表情的高度逼真合成，且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。
发现论文，激发创造
  • AnimateMe: 通过扩散模型实现 4D 面部表情

    利用扩散模型 enhance 了图生成模型在 3D 领域的能力，以图神经网络作为去噪扩散模型，通过在网格空间上直接进行扩散过程并生成 3D 面部表情，实现了可控且高保真的 4D 面部动画合成。

    Mar, 2024

  • 通过学习面部关键点轨迹生成复杂的四维表情变化

    本文提出了一种新模型，使用 Motion3DGAN 模型编码表情的时间演变，并利用 Sparse2Dense mesh Decoder 模型生成可以复合的表情转换；在多个公共数据集上进行实验验证，表明该方法在保持良好泛化性能的同时相较于之前的解决方案有了显著提高。

    Jul, 2022

  • 稀疏到密集的动态三维面部表情生成

    本文提出了一种从中性 3D 人脸和表情标签生成动态 3D 面部表情的解决方案，解决了表情动态建模和面部变形两个子问题，并展示了该方案在动态表情生成和网格重建方面的显著改进。

    May, 2021

  • 单图像照片逼真面部细节合成

    通过表情分析生成满足要求的脸部几何表达形式并结合有监督和无监督学习实现面部细节合成的单图像三维面部综合技术.

    Mar, 2019

  • 通过分离三维表情与身份来实现野外实时面部表情识别

    本研究提出了一种基于深度学习和面部视频数据的情感检测方法，使用 Convolutional Neural Network 训练一个能够估计三维表情模型参数的模型，并结合情感分类器，能够高效准确地从动态图像中识别面部表情，且在基本情感和压力情感的识别任务中超过了其他方法。

    May, 2020

  • 个性化的语音驱动的具有风格控制的表情生成功能的三维面部动画合成

    通过建模特定身份的面部动作为潜在表示（称为样式），并在各种情感类别的语音输入中合成具有目标样式的新动画，我们提出了一种个性化语音驱动的富有表现力的 3D 面部动画综合框架。

    Oct, 2023

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • 3DiFACE：基于扩散的语音驱动 3D 面部动画和编辑

    我们提出的 3DiFACE 方法是一种用于个性化语音驱动的 3D 面部动画和编辑的新方法。通过引入一种轻量级的音频条件扩散模型，我们能够在保持表现力丰富的唇部运动输出的同时，允许随机性和动作编辑。经过定量和定性评估，我们展示了我们的方法优于现有的技术，并产生更具保真度和多样性的语音驱动动画。

    Dec, 2023

  • AniFaceGAN: 为视频头像生成可动画 3D 感知人脸图像

    本研究提出一种可动画的 3D 感知生成对抗网络用于多视角一致的人脸动画生成，通过将 3D 感知生成对抗网络的 3D 表示分解为模板场和形变场，并提出 3D 级模仿学习方案，帮助我们实现高质量的动画面部图像生成并具有较强的可视化 3D 一致性。

    Oct, 2022

  • 三维感知视频生成

    本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

    Jun, 2022