Jun, 2023

通用单次神经头像模拟

PDF
TL;DR该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。
3d head avatarsingle-view portrait imagetri-planesvolumetric renderinganimation
发现论文，激发创造
  • 快速双层神经合成一次性逼真头像

    利用神经渲染基础系统从单张照片创建头像，将外貌分解为两个图层，第一层是由小型神经网络合成的姿态相关的粗略图像，第二层由姿态无关的纹理图像定义，通过在线形变和添加到粗略图像上，以确保高分辨率综合头部视图的有效性和速度。实验显示了和先前神经头像模型相比具有显著的推理加速和视觉质量，同时还在智能手机上实现了实时功能。

    Aug, 2020

  • One2Avatar: 少样本用户自适应的生成式隐式头像

    使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。

    Feb, 2024

  • OTAvatar: 可控三平面渲染的一次性对话人脸阿凡达

    本研究提出了一种基于广义控制的三平面渲染方案构建面部头像的方法 ——OTAvatar，通过利用运动代码和个体身份编码以及体积渲染生成的体积，实现了通用面部头像的可控渲染，并在 A100 达到了 35FPS 的效率。

    Mar, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • OPHAvatars: 一次成像逼真的头像

    我们提出了一种从只有一个肖像作为参考的照片逼真数字化头像的合成方法。该方法使用驱动关键点特征合成粗糙的说话头视频。使用粗糙视频，该方法使用变形神经辐射场合成粗糙的说话头头像。通过渲染粗糙头像的图像，该方法使用盲目人脸修复模型更新低质量图像。通过更新后的图像，我们重新训练以获得更高质量的头像。经过几轮迭代，我们的方法可以合成逼真的可动画的 3D 神经头像。我们的方法通过在各种主题上进行定量和定性研究超越了最先进的方法。

    Jul, 2023

  • InstantAvatar: 通过表面渲染快速高效的三维头部重建

    通过组合三维头部重建、神经场和表面渲染技术，本研究提出了一种新的方法（InstantAvatar），可以在几秒钟内从少量图像（甚至只有一张）中恢复出完整的头部化身，并实现了 100 倍的重建速度提升。

    Aug, 2023

  • 动画艺术化头像：由单张图像生成可动画的三维艺术化头像

    通过一张单一的图像生成具有可控面部表情、头部姿态和肩膀运动的可动画 3D 感知艺术化人物形象，并进行实时动态演示。

    Mar, 2024

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • GPAvatar: 从图像 (s) 生成具有通用性和精确性的头像

    通过引入一个由点云驱动的动态基于点的表情场，以及在三平面规范场中使用多三平面注意力（MTA）融合模块来利用多个输入图像的信息，我们提出了一种名为 GPAvatar 的框架，可以在单次前向传递中从一个或多个图像中重建 3D 头像，实现忠实的身份重建，精确的表情控制和多视角一致性，并展示了自由视点渲染和新视角合成的有 promising 结果。

    Jan, 2024

  • 基于视频的神经头像动画

    使用视频驱动的动画模型，通过 LSTM 神经网络将人对应的表情特征转化为个性化的人物动画参数，从而实现了从视频输入中实现独立于个体的动画。

    Mar, 2024