Dec, 2023

高斯化身：通过可动动画 3D 高斯实现从单个视频生成真实人类化身模型

PDF
TL;DR我们提出了 GaussianAvatar，一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类，可以更有效和一致地从 2D 观察中融合 3D 外观。我们的表示进一步增强了动态属性，以支持姿势相关的外观建模，其中设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外，通过利用可微分的运动条件，我们的方法在化身建模过程中使得动作和外观能够进行联合优化，有助于解决单眼设置中不准确的运动估计问题。GaussianAvatar 的有效性在公共数据集和我们的收集数据集上得到验证，展示了其在外观质量和渲染效率方面的优越性能。
gaussianavatarhuman avatars3d appearancesdynamic propertiesmotion-to-appearance mapping
发现论文，激发创造
  • 可动化的高斯函数：学习姿势相关的高斯图像用于高度逼真的人体化身建模

    通过引入 Animatable Gaussians 和强大的 2D CNNs 以及 3D 高斯样条插值方法，我们的方法可以根据输入视频创建高保真度的动态逼真化身，实现虚拟人物的建模和动态外观生成。实验证明，与其他最先进的方法相比，我们的方法具有更好的性能。

    Nov, 2023

  • GoMAvatar：高效的单目视频中可动画人体建模方法 —— 基于高斯 - 网格

    GoMAvatar 是一种实时、内存高效、高质量可动画人体建模方法，利用高斯分布在网格上进行表达，实现新姿势的重新建模和新视角的实时渲染，并无缝集成光栅化图形流水线，其渲染质量超过当下的单目人体建模算法，并在计算效率（43 FPS）和内存占用（每个主体 3.63MB）方面显著优于它们。

    Apr, 2024

  • 可动态调节的三维高斯：快速高质量地重建多个人体化身

    用动态的 3D 高斯人物场景在复杂运动和动态阴影中实现高质量的重建，具有较短的训练时间、绘制速度和重建质量。

    Nov, 2023

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • 用于高保真合成人体运动的可动画 3D 高斯曲线

    我们提出了一种新颖的可动画化的三维高斯模型，用于实时渲染高保真度的自由视角人体动作。与现有的基于 NeRF 的方法相比，该模型具有更好的能力，在视频帧之间合成高频细节时没有抖动问题。我们的模型的核心是一种新型的增强型三维高斯表示，通过将每个高斯附加一个可学习的代码，该可学习代码作为姿态相关的外观嵌入，用于纠正由于高斯的几何变换而导致的错误外观，在此基础上，学习一种外观细化模型来产生匹配目标姿态的剩余高斯属性。为了使高斯仅学习到人体前景而不受背景干扰，我们进一步设计了一种新型的 Alpha 损失来明确约束高斯在人体内部。我们还提议共同优化人体关节参数以提高外观准确性。此可动画化的三维高斯模型可以通过浅层 MLP 进行学习，因此可以实时合成新的人体动作（平均每秒 66 帧）。实验证明，我们的模型优于基于 NeRF 的方法。

    Nov, 2023

  • MonoGaussianAvatar：单目高斯点云头像

    从单目肖像视频中学习具有高效变形能力和渲染效率的头像，提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场，实现了与目标姿态和表情相对应的运动，进而实现了高效的变形。同时，高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率，实验结果证明了该方法在头像学习中的卓越性能。

    Dec, 2023

  • 3DGS-Avatar：通过可变形的三维高斯点渲染实现动态化人物形象

    使用 3D 高斯喷洒（3DGS），我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化，我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍，并实现了与最先进方法相媲美甚至更好的性能。

    Dec, 2023

  • GAvatar：具有隐含网格学习的可动态变形的三维高斯化身

    使用高斯飞溅生成逼真的可动化虚拟角色，并通过基于文本描述的图像生成方法，解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制，具有出色的外观和几何质量，并具有极快的渲染速度（100 FPS）以及 1K 分辨率。

    Dec, 2023

  • 头像动画的 3D 高斯混合形状

    我们介绍了用于建模逼真头部 Avatar 的 3D 高斯混合形状。通过将一个单眼视频作为输入，我们学习到由中性表情组成的基本头部模型以及一组表情混合形状，其中每个形状对应于经典参数化面部模型中的一个基本表情。通过对表情系数进行高斯线性混合，中性模型和表情混合形状可以有效地生成任意表情的 Avatar 模型。与现有方法相比，我们的高斯混合形状表示更好地捕捉了输入视频所展示的高频细节，同时实现了更优越的渲染性能。

    Apr, 2024