Dec, 2023

高斯头像：通过动态高斯实现超高保真度的头像

PDF
TL;DR高保真度 3D 头像模型的研究中，轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场，用于捕捉复杂表情。这两部分互相有益，因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外，我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验证明，我们的方法优于其他最先进的稀疏视图方法，在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。
high-fidelity 3d head avatarsgaussian head avatar3d gaussiansmlp-based deformation fieldexpressions
发现论文，激发创造
  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • 高保真神经网络上半身头像：高斯锚定引导纹理扭曲

    通过在最新的 3D 高斯碎片表示上配备头部 3D 可塑模型（3DMM），现有方法成功地创建了高度逼真的头部化身。然而，大多数现有方法只能重建头部而不包括身体，从而严重限制了其应用场景。

    May, 2024

  • GAvatar：具有隐含网格学习的可动态变形的三维高斯化身

    使用高斯飞溅生成逼真的可动化虚拟角色，并通过基于文本描述的图像生成方法，解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制，具有出色的外观和几何质量，并具有极快的渲染速度（100 FPS）以及 1K 分辨率。

    Dec, 2023

  • GGAvatar：高斯头部角度调整的几何化人物头像

    GGAvatar 是一种新颖的 3D 头像表示方法，用于稳健地建模具有复杂身份和变形的动态头像。通过采用自适应密度控制策略将高斯原语与可变形三角网格配对，Neutral Gaussian Initialization Module 为目标主体的几何结构建模中性表情。Geometry Morph Adjuster 将全局空间中的适应变形基引入每个高斯，有效地创建形变行为的精细低维表示，以解决线性混合蒙皮公式的局限性。大量实验证明，GGAvatar 能够产生高保真度的渲染结果，在视觉质量和定量指标方面优于最先进的方法。

    May, 2024

  • FAGhead: 单目视频中完全动画的高斯头部

    该研究介绍了 FAGhead 方法，通过使用单目视频，基于传统的三维可塑网格形状和优化中性三维高斯模型，结合可学习的高斯点位置的基于点的可学习表示场（PLRF），以及通过引入 alpha 渲染来管理化身的边缘，实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态，超越了现有方法的性能。

    Jun, 2024

  • MonoGaussianAvatar：单目高斯点云头像

    从单目肖像视频中学习具有高效变形能力和渲染效率的头像，提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场，实现了与目标姿态和表情相对应的运动，进而实现了高效的变形。同时，高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率，实验结果证明了该方法在头像学习中的卓越性能。

    Dec, 2023

  • 头像动画的 3D 高斯混合形状

    我们介绍了用于建模逼真头部 Avatar 的 3D 高斯混合形状。通过将一个单眼视频作为输入，我们学习到由中性表情组成的基本头部模型以及一组表情混合形状，其中每个形状对应于经典参数化面部模型中的一个基本表情。通过对表情系数进行高斯线性混合，中性模型和表情混合形状可以有效地生成任意表情的 Avatar 模型。与现有方法相比，我们的高斯混合形状表示更好地捕捉了输入视频所展示的高频细节，同时实现了更优越的渲染性能。

    Apr, 2024

  • MeGA：高保真渲染和头部编辑的混合网格高斯化头像

    我们提出了一种混合 Mesh-Gaussian 头像的方法（MeGA），通过选择增强的 FLAME 网格作为面部表示，并使用延迟神经渲染获取面部颜色，从而为多个不同组件提供更适合的表示方式，以获得更高保真度的头部渲染，进而支持多种下游任务。

    Apr, 2024

  • 可驾驶的三维高斯化身

    我们提出了可驾驶的三维高斯化身模型（D3GA），这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试（或两者都需要）不同，我们使用最近提出的三维高斯分布点技术（3DGS）以实时帧率渲染逼真的人体，使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法（LBS）不同，我们使用经典的容积形变方法来变形这些形状，即笼状形变。我们使用关节角度和关键点驱动这些形变，因为它们更适用于通信应用。当使用相同的训练和测试数据时，我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。

    Nov, 2023