本文提出了一种使用合成数据集和重新表示技术来处理虚拟人物面部表情的深度学习框架,同时结合了针对面部器官的组群和关键点与权重相连的方法来改进以往的研究,同时在定量和定性指标上更优。
Jun, 2023
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因,并提出了一个系统设计,将问题分解为两部分:1) 一个迭代优化模块,处理同一领域的输入;2) 一个通用的以化身为导向的图像转换模块,以当前表情和头部姿态的估计为条件。这两个模块相互加强,通过展示接近真实的示例,使图像样式转换更容易,并改善领域差异移除。我们的系统高效地产生高质量的结果,不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率,并在直接回归方法和离线注册上展现了显著的改进。
Jan, 2024
通过引入一种新的表情领域转换网络,该网络将人类表情转化为动漫表情,并使用三维几何感知损失函数来保持输入和输出之间的几何一致性,从而在跨表情领域上实现高保真度和一对一的映射,该方法在跨领域头部再现领域取得了重大进展。
Oct, 2023
该研究提出了一种新的方法,使用现实世界的图像信息来重建几何形状,进而创建个性化的动画系统,从而大幅降低成本和硬件要求。
该研究提出了一种基于自我监督学习的表现力神经人头像生成模型,使用 NeRF 和潜在表情编码学习人脸表情,能够捕捉高频细节丰富的表情并实现跨身份表演。
May, 2023
研究提出了一种基于生物学启发机制的面部表情识别传递学习方法,依靠领域特定的参考向量来编码模式,实现了高数据效率的跨多个领域的学习,较少量的图像即可实现 92.15%的分类准确率,这一方法提供了人脑如何在变化的头部形状(人类,猴子和卡通头像)上天生识别面部表情的解释。
Apr, 2023
本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道,从运营商的序列中提取操作员特定的外观信息,并将其映射到目标表情和头部姿态上,同时讨论了性能。
提出了一种全面的解决方案,通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸,实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包,可接受图像和视频作为输入,以动画形式呈现目标虚拟人脸,并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能,从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。
Feb, 2024
提出了一种新颖的自监督框架,名为 Versatile Face Animator,它将面部动作捕捉与动作重新定位结合起来,从而实现了在任意 3D 角色上进行面部动画的理想效果,并具备潜在的成本效益和高效率的潜力。
Aug, 2023