CVPRApr, 2023

GANHead：面向生成动画化神经头像模型的研究

PDF
TL;DR提出 GANHead 模型，利用精细控制和真实感渲染相结合的优点，通过三个网络在规范空间中表示粗略几何、细节和纹理，来生成完整、真实、可动的头部数字化 avatar，并通过 LBS 权重和 FLAME 参数的学习，来实现灵活地动画生成。该模型有效提升了头部数字化 avatar 生成和原始扫描拟合的性能。
digital avatarsganheadgenerative head modelfine-grained detailsflexible animation
发现论文，激发创造
  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • AniPortraitGAN：从 2D 图像集合生成可动态调整的 3D 肖像

    基于非结构化的 2D 图像集合，我们提出了一种可调节面部表情、头部姿势和肩膀运动的三维感知生成对抗网络，该网络能够生成多样且高质量的三维头像。

    Sep, 2023

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • 基于视频的神经头像动画

    使用视频驱动的动画模型，通过 LSTM 神经网络将人对应的表情特征转化为个性化的人物动画参数，从而实现了从视频输入中实现独立于个体的动画。

    Mar, 2024

  • HeadGaS: 三维高斯散点实时可动头部化身

    提出了使用三维高斯斑点（3DGS）进行三维头部重建和动画的 HeadGaS 模型，其利用可学习的潜在特征扩展了 3DGS 的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS 在实时推理帧率方面取得了最先进的结果，超过基线约 2dB，并将渲染速度加速至 10 倍以上。

    Dec, 2023

  • HAvatar: 基于面部模型调节的高保真头部化身

    通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

    Sep, 2023

  • HeadGAN：一次性神经头部合成和编辑

    本文提出了一种基于 3D 面部表示的 HeadGAN 新系统，可以从任何驱动视频中提取，并适应于任何参考图像的面部几何形状，从而解决头部再现问题。通过利用音频特征作为补充输入，进一步改善嘴部运动，并将身份与表情分离，使其具有压缩和重建、表情和姿势编辑的功能。

    Dec, 2020

  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023

  • GGAvatar：高斯头部角度调整的几何化人物头像

    GGAvatar 是一种新颖的 3D 头像表示方法，用于稳健地建模具有复杂身份和变形的动态头像。通过采用自适应密度控制策略将高斯原语与可变形三角网格配对，Neutral Gaussian Initialization Module 为目标主体的几何结构建模中性表情。Geometry Morph Adjuster 将全局空间中的适应变形基引入每个高斯，有效地创建形变行为的精细低维表示，以解决线性混合蒙皮公式的局限性。大量实验证明，GGAvatar 能够产生高保真度的渲染结果，在视觉质量和定量指标方面优于最先进的方法。

    May, 2024

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021