Jun, 2024

FAGhead: 单目视频中完全动画的高斯头部

PDF
TL;DR该研究介绍了 FAGhead 方法，通过使用单目视频，基于传统的三维可塑网格形状和优化中性三维高斯模型，结合可学习的高斯点位置的基于点的可学习表示场（PLRF），以及通过引入 alpha 渲染来管理化身的边缘，实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态，超越了现有方法的性能。
发现论文，激发创造
  • MonoGaussianAvatar：单目高斯点云头像

    从单目肖像视频中学习具有高效变形能力和渲染效率的头像，提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场，实现了与目标姿态和表情相对应的运动，进而实现了高效的变形。同时，高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率，实验结果证明了该方法在头像学习中的卓越性能。

    Dec, 2023

  • 高斯头像：通过动态高斯实现超高保真度的头像

    高保真度 3D 头像模型的研究中，轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场，用于捕捉复杂表情。这两部分互相有益，因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外，我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验证明，我们的方法优于其他最先进的稀疏视图方法，在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。

    Dec, 2023

  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • GoMAvatar：高效的单目视频中可动画人体建模方法 —— 基于高斯 - 网格

    GoMAvatar 是一种实时、内存高效、高质量可动画人体建模方法，利用高斯分布在网格上进行表达，实现新姿势的重新建模和新视角的实时渲染，并无缝集成光栅化图形流水线，其渲染质量超过当下的单目人体建模算法，并在计算效率（43 FPS）和内存占用（每个主体 3.63MB）方面显著优于它们。

    Apr, 2024

  • 高斯化身：通过可动动画 3D 高斯实现从单个视频生成真实人类化身模型

    我们提出了 GaussianAvatar，一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类，可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性，以支持姿势相关的外观建模，其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外，通过利用可微分的运动条件，我们的方法在化身建模过程中使得动作和外观能够进行联合优化，有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证，展示了其在外观质量和渲染效率方面的优越性能。

    Dec, 2023

  • NPGA: 神经参数高斯阿凡达

    从多视图视频录制中构建高保真、可控的人物形象，利用神经参数高斯分布进行渲染，实现了逼真的动画表现能力。

    May, 2024

  • HAHA: 高度可表达的高斯人类化身与纹理化网格优先

    从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡，表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域（如头发和网格之外的衣物）应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上，我们的方法的重建质量与最先进方法相当，而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。

    Apr, 2024

  • GEA：从单目视频中重建表达丰富的 3D 高斯化身

    该论文介绍了一种名为 GEA 的新方法，基于 3D 高斯模型，创建具有高保真度的身体和手部重建，提出了两个关键贡献：一是通过两阶段姿势估计方法从输入图像中获取准确的 SMPL-X 姿势，提供训练图像像素与 SMPL-X 模型之间的正确映射；二是提出了迭代初始化策略来处理高斯表示面临的不平衡聚合和初始化偏差问题，通过网格化、重采样和重新高斯化等操作将 avatar 的高斯点均匀分布在人体表面附近，实现了更高质量的渲染，验证了所提模型的有效性，展示了其在照片逼真的新视图合成和对人体姿势的细致控制方面达到了最先进的性能。

    Feb, 2024