Dec, 2023

MonoGaussianAvatar：单目高斯点云头像

PDF
TL;DR从单目肖像视频中学习具有高效变形能力和渲染效率的头像，提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场，实现了与目标姿态和表情相对应的运动，进而实现了高效的变形。同时，高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率，实验结果证明了该方法在头像学习中的卓越性能。
head avatarsmonocular portrait videos3d gaussian point representationdeformation flexibilityrendering efficiency
发现论文，激发创造
  • PointAvatar: 从视频中生成可变形基于点的头像

    使用可变形基于点的表示方法 PointAvatar，将颜色和法向量相关联，可以基于单目视频生成高质量的可动画 3D 头像，并在渲染效率和拓扑灵活性方面加强。

    Dec, 2022

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023

  • GGAvatar：高斯头部角度调整的几何化人物头像

    GGAvatar 是一种新颖的 3D 头像表示方法，用于稳健地建模具有复杂身份和变形的动态头像。通过采用自适应密度控制策略将高斯原语与可变形三角网格配对，Neutral Gaussian Initialization Module 为目标主体的几何结构建模中性表情。Geometry Morph Adjuster 将全局空间中的适应变形基引入每个高斯，有效地创建形变行为的精细低维表示，以解决线性混合蒙皮公式的局限性。大量实验证明，GGAvatar 能够产生高保真度的渲染结果，在视觉质量和定量指标方面优于最先进的方法。

    May, 2024

  • 高斯化身：通过可动动画 3D 高斯实现从单个视频生成真实人类化身模型

    我们提出了 GaussianAvatar，一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类，可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性，以支持姿势相关的外观建模，其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外，通过利用可微分的运动条件，我们的方法在化身建模过程中使得动作和外观能够进行联合优化，有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证，展示了其在外观质量和渲染效率方面的优越性能。

    Dec, 2023

  • FAGhead: 单目视频中完全动画的高斯头部

    该研究介绍了 FAGhead 方法，通过使用单目视频，基于传统的三维可塑网格形状和优化中性三维高斯模型，结合可学习的高斯点位置的基于点的可学习表示场（PLRF），以及通过引入 alpha 渲染来管理化身的边缘，实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态，超越了现有方法的性能。

    Jun, 2024

  • PSAvatar：一种基于点云的可变形形状模型，用于实时头像创建与 3D 高斯点云渲染

    介绍了一种利用离散几何基元创建参数化可变形形状模型，并利用三维高斯进行细节表示和高保真渲染的新型框架 PSAvatar，能够重建各种对象的高保真头像，实现实时动画效果（分辨率为 512 x 512，帧率≥25fps）。

    Jan, 2024

  • GoMAvatar：高效的单目视频中可动画人体建模方法 —— 基于高斯 - 网格

    GoMAvatar 是一种实时、内存高效、高质量可动画人体建模方法，利用高斯分布在网格上进行表达，实现新姿势的重新建模和新视角的实时渲染，并无缝集成光栅化图形流水线，其渲染质量超过当下的单目人体建模算法，并在计算效率（43 FPS）和内存占用（每个主体 3.63MB）方面显著优于它们。

    Apr, 2024

  • 高斯头像：通过动态高斯实现超高保真度的头像

    高保真度 3D 头像模型的研究中，轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场，用于捕捉复杂表情。这两部分互相有益，因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外，我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验证明，我们的方法优于其他最先进的稀疏视图方法，在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。

    Dec, 2023

  • 头像动画的 3D 高斯混合形状

    我们介绍了用于建模逼真头部 Avatar 的 3D 高斯混合形状。通过将一个单眼视频作为输入，我们学习到由中性表情组成的基本头部模型以及一组表情混合形状，其中每个形状对应于经典参数化面部模型中的一个基本表情。通过对表情系数进行高斯线性混合，中性模型和表情混合形状可以有效地生成任意表情的 Avatar 模型。与现有方法相比，我们的高斯混合形状表示更好地捕捉了输入视频所展示的高频细节，同时实现了更优越的渲染性能。

    Apr, 2024