Feb, 2024

GEA：从单目视频中重建表达丰富的 3D 高斯化身

PDF
TL;DR该论文介绍了一种名为 GEA 的新方法，基于 3D 高斯模型，创建具有高保真度的身体和手部重建，提出了两个关键贡献：一是通过两阶段姿势估计方法从输入图像中获取准确的 SMPL-X 姿势，提供训练图像像素与 SMPL-X 模型之间的正确映射；二是提出了迭代初始化策略来处理高斯表示面临的不平衡聚合和初始化偏差问题，通过网格化、重采样和重新高斯化等操作将 avatar 的高斯点均匀分布在人体表面附近，实现了更高质量的渲染，验证了所提模型的有效性，展示了其在照片逼真的新视图合成和对人体姿势的细致控制方面达到了最先进的性能。
gea3d avatarspose estimationgaussian representationnovel view synthesis
发现论文，激发创造
  • 从单目 RGB 视频生成富有表达力的高斯人类虚拟形象

    本研究聚焦于通过学习来自单目 RGB 视频的人类化身的表现力，介绍了一种可驾驶的人类模型 EVA，该模型通过基于 3D 高斯分布和 SMPL-X 的精细塑造，旨在提升表现力；研究重点包括解决 SMPL-X 模型与 RGB 帧对齐的重要性、上下文感知的密度控制策略以及预测的反馈机制。在两个基准测试上进行的大量实验证明了我们的框架在定量和定性上的优越性，尤其在手部和面部细节方面。

    Jul, 2024

  • 高斯化身：通过可动动画 3D 高斯实现从单个视频生成真实人类化身模型

    我们提出了 GaussianAvatar，一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类，可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性，以支持姿势相关的外观建模，其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外，通过利用可微分的运动条件，我们的方法在化身建模过程中使得动作和外观能够进行联合优化，有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证，展示了其在外观质量和渲染效率方面的优越性能。

    Dec, 2023

  • HAHA: 高度可表达的高斯人类化身与纹理化网格优先

    从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡，表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域（如头发和网格之外的衣物）应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上，我们的方法的重建质量与最先进方法相当，而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。

    Apr, 2024

  • $E^{3}$Gen：高效、表达丰富且可编辑的人物生成

    介绍了一种名为 $E^3$Gen 的新型头像生成方法，采用 3D 高斯函数，将其编码到由 SMPL-X 参数模型定义的结构化 2D UV 空间上，实现了头像生成和全身姿势的控制和编辑。

    May, 2024

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • FAGhead: 单目视频中完全动画的高斯头部

    该研究介绍了 FAGhead 方法，通过使用单目视频，基于传统的三维可塑网格形状和优化中性三维高斯模型，结合可学习的高斯点位置的基于点的可学习表示场（PLRF），以及通过引入 alpha 渲染来管理化身的边缘，实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态，超越了现有方法的性能。

    Jun, 2024

  • 头像动画的 3D 高斯混合形状

    我们介绍了用于建模逼真头部 Avatar 的 3D 高斯混合形状。通过将一个单眼视频作为输入，我们学习到由中性表情组成的基本头部模型以及一组表情混合形状，其中每个形状对应于经典参数化面部模型中的一个基本表情。通过对表情系数进行高斯线性混合，中性模型和表情混合形状可以有效地生成任意表情的 Avatar 模型。与现有方法相比，我们的高斯混合形状表示更好地捕捉了输入视频所展示的高频细节，同时实现了更优越的渲染性能。

    Apr, 2024

  • MonoGaussianAvatar：单目高斯点云头像

    从单目肖像视频中学习具有高效变形能力和渲染效率的头像，提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场，实现了与目标姿态和表情相对应的运动，进而实现了高效的变形。同时，高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率，实验结果证明了该方法在头像学习中的卓越性能。

    Dec, 2023

  • NPGA: 神经参数高斯阿凡达

    从多视图视频录制中构建高保真、可控的人物形象，利用神经参数高斯分布进行渲染，实现了逼真的动画表现能力。

    May, 2024

  • 高斯头像：通过动态高斯实现超高保真度的头像

    高保真度 3D 头像模型的研究中，轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场，用于捕捉复杂表情。这两部分互相有益，因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外，我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验证明，我们的方法优于其他最先进的稀疏视图方法，在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。

    Dec, 2023