Feb, 2024

自带角色：定制角色自动面部动画生成的整体解决方案

PDF
TL;DR提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。
virtual charactersfacial animationsdeep learning modelunity 3duser feedback
发现论文，激发创造
  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023

  • 多功能人脸动画师：在 RGBD 空间中驱动任意的 3D 人脸形象

    提出了一种新颖的自监督框架，名为 Versatile Face Animator，它将面部动作捕捉与动作重新定位结合起来，从而实现了在任意 3D 角色上进行面部动画的理想效果，并具备潜在的成本效益和高效率的潜力。

    Aug, 2023

  • 基于单个角色的面部表情重定向

    本文提出了一种使用合成数据集和重新表示技术来处理虚拟人物面部表情的深度学习框架，同时结合了针对面部器官的组群和关键点与权重相连的方法来改进以往的研究，同时在定量和定性指标上更优。

    Jun, 2023

  • 基于注意力的虚拟现实面部动画与视觉口腔摄像头引导的沉浸式远程互动化身

    在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在 ANA Avatar XPRIZE 决赛中的胜利中突显了面部动画的贡献。

    Dec, 2023

  • 沉浸式远程存在化人物的虚拟现实面部动画

    本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

    Apr, 2023

  • 从人类到模型角色的面部表情再现简化

    本文提出了一种基于非线性表情嵌入和表情域翻译的跨域表情转移技术，通过低维潜空间、几何约束、感知约束和用户友好的技术，实现了人脸表情转移到虚拟角色上，并且在大范围实验和用户研究中证明了该方法的高效性和高质量。

    Aug, 2020

  • 从单个扫描生成动态面部资产和绑定

    通过使用自监督神经网络，本文提出了一个自动生成高质量动态面部组件的框架，包括可以快速部署供艺术家打磨的模型，并展示了在广泛的新主题上推断的鲁棒性和有效性，同时通过生成定制的基于物理的动态纹理来给角色面部制作更生动的动画。

    Oct, 2020

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 面部可动态建模的民主化

    该研究提出了一种新的方法，使用现实世界的图像信息来重建几何形状，进而创建个性化的动画系统，从而大幅降低成本和硬件要求。

    Jan, 2024

  • 快速为 VR 面部动画注册逼真的化身

    虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

    Jan, 2024