Jan, 2024

快速为 VR 面部动画注册逼真的化身

PDF
TL;DR虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。
virtual realityavatar animationphotorealistic avatarimage style transferheadset registration
发现论文，激发创造
  • 沉浸式远程存在化人物的虚拟现实面部动画

    本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

    Apr, 2023

  • 从人类到模型角色的面部表情再现简化

    本文提出了一种基于非线性表情嵌入和表情域翻译的跨域表情转移技术，通过低维潜空间、几何约束、感知约束和用户友好的技术，实现了人脸表情转移到虚拟角色上，并且在大范围实验和用户研究中证明了该方法的高效性和高质量。

    Aug, 2020

  • 基于深度光照适应的 AR/VR 高保真人脸跟踪

    该论文提出了一种新的深度学习光照模型技术，结合高质量的 3D 人脸追踪算法，从普通视频中实现了微妙且稳健的面部动作转移到 3D 光照逼真的虚拟形象身上，解决了现有人物特定 3D 模型不稳健的问题，并在表情、姿势及光线变化等方面得到了广泛应用验证，成为可扩展的 AR/VR 通信系统的有效框架。

    Mar, 2021

  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • 面部可动态建模的民主化

    该研究提出了一种新的方法，使用现实世界的图像信息来重建几何形状，进而创建个性化的动画系统，从而大幅降低成本和硬件要求。

    Jan, 2024

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • GPAvatar: 从图像 (s) 生成具有通用性和精确性的头像

    通过引入一个由点云驱动的动态基于点的表情场，以及在三平面规范场中使用多三平面注意力（MTA）融合模块来利用多个输入图像的信息，我们提出了一种名为 GPAvatar 的框架，可以在单次前向传递中从一个或多个图像中重建 3D 头像，实现忠实的身份重建，精确的表情控制和多视角一致性，并展示了自由视点渲染和新视角合成的有 promising 结果。

    Jan, 2024

  • InstantAvatar: 通过表面渲染快速高效的三维头部重建

    通过组合三维头部重建、神经场和表面渲染技术，本研究提出了一种新的方法（InstantAvatar），可以在几秒钟内从少量图像（甚至只有一张）中恢复出完整的头部化身，并实现了 100 倍的重建速度提升。

    Aug, 2023