May, 2023

基于 Landmark-Parameter Morphable Model 的神经说话人模型直观姿态控制 (LPMM)

PDF
TL;DR本文提出了一种新方法，使用参数化控制头部方向和面部表情，从而在预训练的神经网络对话头模型上提供直观的刚体控制，允许参数和基于图像的输入。
talking head modelspose controllability3d morphable modelsparametric controlneural-talking head model
发现论文，激发创造
  • 从语音中学习地标运动以获取说话人不可知的 3D 语音生成

    本篇研究提出了一种新方法，通过音频输入生成 3D 说话人头部动画，并利用面部的传动部位上的控制点来描述语音相关的运动，并利用两个不同的模型来实现；该方法具有身份不相关性，可实现任何用户的高质量面部动画。利用陆标在 3D 说话人头部动画生成中提供了各种优点，例如一致性，可靠性和不需要手动注释。

    Jun, 2023

  • 非线性 3D 人脸可变模型

    本文提出了一种从大量非约束人脸图像中学习非线性 3D Morphable Model 的创新框架，该模型拥有比线性模型更强大的表示能力，并对人脸对齐和 3D 重建做出了贡献。

    Apr, 2018

  • 通过可控局部变形场实现的隐式神经头部合成

    通过基于部件的隐式形状模型，我们设计了一种可以控制 3D 头像的方法，可以推断局部语义 Rig，包括面部特征，通过局部控制丰富了隐式形变字段，使其具有更强的局部控制性能。

    Apr, 2023

  • 从视频中生成的隐式可塑头像

    提出了一种名为 IMavatar 的新方法，可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形，使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形，并通过光线行进和迭代根查找，为每个像素定位规范表面交点，从而实现了头像的生成，并通过端到端的训练，得出了比现有技术更完整的表情空间和几何形状。

    Dec, 2021

  • 隐式模块化音视表示的姿态可控说话面孔生成

    本文提出了一种简洁而有效的框架来生成姿势可控的对话脸，通过使用隐式低维姿势代码对原始面部图像进行操作，实现语音和头部姿势信息的联合非身份嵌入空间，通过调制卷积重建框架，在极端视角稳健的情况下生成准确的唇形同步会话，并具有多种先进功能，例如对话面部前视。

    Apr, 2021

  • 人头完整的三维变形模型

    本文提出一种新的 3D 人头模型，融合现有的人脸模型和头部模型并加入耳朵，眼睛，牙齿，舌头等特征的模型，实现了最新的复原效果，并可以从单张图片重现整个头部的表面特征参数。

    Nov, 2019

  • 从野外图片中学习 3D 人脸可塑模型

    本文提出了一种新的框架以学习从大量野外人脸图像中学习非线性 3DMM 模型，该模型可以用于面部对齐，3D 重建和面部编辑。

    Aug, 2018

  • MyPortrait: 可塑形先导定制肖像生成

    在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

    Dec, 2023

  • PIRenderer：通过语义神经渲染实现可控肖像图像生成

    使用三维可变形面部模型参数来控制面部动作，生成逼真的肖像图像并实现音频驱动的面部再现。

    Sep, 2021

  • 基于 3DMM 和 3D Landmarks 的协同作用用于精准的 3D 人脸几何模型

    本文研究了从 3D 可塑模型（3DMM）和 3D 面部标记的协同学习过程，以预测完整的 3D 面部几何，包括 3D 对齐，面部方向和 3D 面部建模。我们的协同过程利用了 3DMM 参数和 3D 标记的表示循环。3D 标记可以从 3DMM 参数构建的面部网格中提取和精炼。接下来，我们逆转表示方向，并显示从稀疏的 3D 标记预测 3DMM 参数可以改善信息流量。总的来说，我们创建了一个利用 3D 标记和 3DMM 参数之间关系的协同过程，它们共同促成了更好的性能。我们在面部几何预测的全部任务上进行了广泛的验证，并展示了在这些任务的各种场景下我们卓越和稳健的性能。特别地，我们仅采用简单和广泛使用的网络操作来实现快速和准确的面部几何预测。

    Oct, 2021