Feb, 2024

从数据中学习通用的物理人脸模型

PDF
TL;DR通过从大规模三维人脸数据集中学习而非模拟的方式，我们提出了一种通用的基于物理的人脸模型，使物理基础的人脸动画更容易使用。一旦训练完成，我们的模型可以快速适应任何未见过的身份，并自动生成一个可供动画使用的物理人脸模型。拟合过程非常简单，只需提供一个三维人脸扫描，甚至一个人脸图像。同时，我们提供直观的动画控制以及角色重定向的能力。所得到的动画能够具备碰撞避免、重力、麻痹、骨骼重塑等物理效果。
physically-based simulation3d facial animationgeneralized physical face modelanimation controlscharacter retargeting
发现论文，激发创造
  • 一种由表情和风格驱动的隐式物理人脸模型

    基于数据驱动的隐式神经物理模型，我们提出了一种新的面部模型，可以分别通过表情和风格进行驱动，并且可以实现从一个角色到另一个角色的风格转移和不同角色之间的风格混合。

    Jan, 2024

  • 基于物理建模的人脸属性学习形成

    本研究提出了一种基于深度学习的生成模型，结合 4000 高分辨率人脸扫描数据集，能够产生多种面部几何、材料属性的人脸模型，并可用于物理渲染，旨在增加面部身份的多样性，提高唯一组件之间的韧性，包括中频几何、反照率图、高频位移细节等，可用于新颖的身份生成、模型拟合、插值、动画、高保真数据可视化和低到高分辨率数据域转换，并有望鼓励所有图形、视觉和数据专业人士之间进一步的合作，展示每个人完整生物特征资料的累积价值。

    Apr, 2020

  • 从图像和视频中学习完整的三维可塑性人脸模型

    本研究提出了一种基于自监督学习的方法，通过图像和视频数据学习脸部特征的完整 3D 模型，实现了环境无关的单目重建，并训练出能够更好地推广和提高图像重建质量的表情基础等方面的面部模型。

    Oct, 2020

  • 自带角色：定制角色自动面部动画生成的整体解决方案

    提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。

    Feb, 2024

  • 从视频中使用强化学习进行物理技能训练

    本研究提出了一种基于深度姿态估计和深度强化学习的方法，使得物理模拟的角色能够从公开视频片段中学习技能，并提供了一个快速设计角色控制器的方法，结果是鲁棒的，并能够适应新的环境并预测人类动作.

    Oct, 2018

  • 基于深度 3D 模拟超分辨率的近实时面部动画

    本文通过神经网络模拟超分辨率框架，可以实现将低成本、实时物理模拟产生的面部表现有效、逼真地提升到接近高分辨率（我们例子中元素数量高出 26 倍）的参考质量，同时补偿了实时模拟的限制和成本削减近似的建模差异，不需要提供任何语义描述符或参数，除了实时模拟的结果。

    May, 2023

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 学习生成定制的动态三维面部表情

    本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画，重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术，结合表情识别模型，以高分辨率的四维扫描数据集为基础，成功地实现了对面部表情的高度逼真合成，且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。

    Jul, 2020

  • 个性化面部建模以改进面部重建和运动重新定向

    提出了一种基于结合使用大量视频数据、学习不同用户的个性化面部模型以及独特表情的动态图像映射，可以准确捕捉广泛条件下的微细面部动态及更准确地重构面部和面部运动，比现有技术达到更好的效果。

    Jul, 2020

  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023