从单个扫描生成动态面部资产和绑定
提出了一种全面的解决方案,通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸,实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包,可接受图像和视频作为输入,以动画形式呈现目标虚拟人脸,并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能,从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。
Feb, 2024
本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架,并针对传统模型建立漫画形象耗时且难以保持相似性的问题,提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。
Jul, 2023
本文提出了一种使用合成数据集和重新表示技术来处理虚拟人物面部表情的深度学习框架,同时结合了针对面部器官的组群和关键点与权重相连的方法来改进以往的研究,同时在定量和定性指标上更优。
Jun, 2023
本研究提出了一种基于深度学习的生成模型,结合 4000 高分辨率人脸扫描数据集,能够产生多种面部几何、材料属性的人脸模型,并可用于物理渲染,旨在增加面部身份的多样性,提高唯一组件之间的韧性,包括中频几何、反照率图、高频位移细节等,可用于新颖的身份生成、模型拟合、插值、动画、高保真数据可视化和低到高分辨率数据域转换,并有望鼓励所有图形、视觉和数据专业人士之间进一步的合作,展示每个人完整生物特征资料的累积价值。
Apr, 2020
提出了一种新颖的自监督框架,名为 Versatile Face Animator,它将面部动作捕捉与动作重新定位结合起来,从而实现了在任意 3D 角色上进行面部动画的理想效果,并具备潜在的成本效益和高效率的潜力。
Aug, 2023
本文介绍了一个大规模的详细的 3D 人脸数据集 FaceScape,并提出了一种新算法,可以从单个图像输入预测精细的可控 3D 面部模型。该数据集提供了来自 938 个受试者的 18,760 个纹理 3D 面部,每个面部有 20 个具体表情。这些细致的面部模型可以表示为 3D 可变模型和位移图,利用大规模和高精度数据集,进一步提出了一种学习特定表情动态细节的新型算法。与之前的方法不同,我们预测的 3D 模型在不同表情下可以高度自由控制,数据集和代码将公开发布供研究使用。
Mar, 2020
通过从大规模三维人脸数据集中学习而非模拟的方式,我们提出了一种通用的基于物理的人脸模型,使物理基础的人脸动画更容易使用。一旦训练完成,我们的模型可以快速适应任何未见过的身份,并自动生成一个可供动画使用的物理人脸模型。拟合过程非常简单,只需提供一个三维人脸扫描,甚至一个人脸图像。同时,我们提供直观的动画控制以及角色重定向的能力。所得到的动画能够具备碰撞避免、重力、麻痹、骨骼重塑等物理效果。
Feb, 2024