CVPRMay, 2021

稀疏到密集的动态三维面部表情生成

PDF
TL;DR本文提出了一种从中性 3D 人脸和表情标签生成动态 3D 面部表情的解决方案，解决了表情动态建模和面部变形两个子问题，并展示了该方案在动态表情生成和网格重建方面的显著改进。
dynamic 3d facial expressionstemporal dynamicsexpressive mesheslandmark displacementsmesh reconstruction
发现论文，激发创造
  • 通过学习面部关键点轨迹生成复杂的四维表情变化

    本文提出了一种新模型，使用 Motion3DGAN 模型编码表情的时间演变，并利用 Sparse2Dense mesh Decoder 模型生成可以复合的表情转换；在多个公共数据集上进行实验验证，表明该方法在保持良好泛化性能的同时相较于之前的解决方案有了显著提高。

    Jul, 2022

  • 学习生成定制的动态三维面部表情

    本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画，重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术，结合表情识别模型，以高分辨率的四维扫描数据集为基础，成功地实现了对面部表情的高度逼真合成，且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。

    Jul, 2020

  • 带有条件 Wasserstein 生成对抗网络的希尔伯特超球上的动态面部表情生成

    通过使用流形算法结合生成对抗网络（GAN）来处理面部表情生成的问题，并进行了动态面部表情生成和数据量扩充以供训练情感识别模型。

    Jul, 2019

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • 面部图像动画的稀疏到稠密的运动转移

    针对单个图像稀疏地标仅作为驱动信号的情况，研究了一种从稀疏地标生成面部运动视频的有效方法，并结合全局和局部运动估计生成了视觉质量更高且时间上更连贯的视频。

    Sep, 2021

  • Media2Face: 借助多模态引导生成共话脸部动画

    从语音中合成 3D 面部动画引起了极大的关注。我们通过三位一体的方法来应对这一挑战，首先介绍了广义神经参数面部特征 (GNPFA)，然后利用 GNPFA 从大量的视频中提取高质量的表情和准确的头部姿势，最后，我们提出了 Media2Face，这是一个在 GNPFA 潜在空间中的扩散模型，用于生成与音频、文本和图像相关的共语面部动画。大量实验表明，我们的模型不仅在面部动画合成方面具有高保真性，还扩大了 3D 面部动画的表现力和风格适应性。

    Jan, 2024

  • 个性化的语音驱动的具有风格控制的表情生成功能的三维面部动画合成

    通过建模特定身份的面部动作为潜在表示（称为样式），并在各种情感类别的语音输入中合成具有目标样式的新动画，我们提出了一种个性化语音驱动的富有表现力的 3D 面部动画综合框架。

    Oct, 2023

  • AniFaceGAN: 为视频头像生成可动画 3D 感知人脸图像

    本研究提出一种可动画的 3D 感知生成对抗网络用于多视角一致的人脸动画生成，通过将 3D 感知生成对抗网络的 3D 表示分解为模板场和形变场，并提出 3D 级模仿学习方案，帮助我们实现高质量的动画面部图像生成并具有较强的可视化 3D 一致性。

    Oct, 2022

  • SparseFusion: 从稀疏 RGBD 图像动态建模人类形象

    本文提出了一种新方法，基于一个稀疏的 RGBD 相机捕获集合来重建 3D 人体模型，重点解决拍摄过程中的姿态变化和遮挡问题，并使用全局非刚性注册和纹理映射优化等步骤来实现。通过实验证明，该方法的性能优异，且具有灵活性和多种潜在应用。

    Jun, 2020

  • 使用卷积网格自编码器生成 3D 面孔

    本论文提出了一种基于网格表面的谱卷积模型，该模型能够更好地捕捉面部的非线性变形和表情，使用少量数据训练即能有效地重建三维面部模型。

    Jul, 2018