Nov, 2023

SplatArmor：来自单目 RGB 视频的可动人体的关节高斯样贴片渲染

PDF
TL;DR我们提出了一种名为 SplatArmor 的新方法，通过在 3D 高斯函数中将参数化的人体模型 “装甲”，从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数，其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果，我们引入了一个 SE (3) 场，允许捕捉高斯函数的位置和各向异性。此外，我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果，证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法，它利用了不可区分性和优化挑战，而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮，并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
splatarmorhuman modelsgaussianscanonical spaceneural color field
发现论文，激发创造
  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • GauHuman: 单目人体视频的关节高斯粒子渲染

    GauHuman 是一个 3D 人体模型，通过高斯飞溅实现快速训练（1 ~ 2 分钟）和实时渲染（最高 189 FPS），与现有的基于 NeRF 的隐式表示建模框架相比，后者需要几个小时的训练和每帧几秒钟的渲染。

    Dec, 2023

  • 3DGS-Avatar：通过可变形的三维高斯点渲染实现动态化人物形象

    使用 3D 高斯喷洒（3DGS），我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化，我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍，并实现了与最先进方法相媲美甚至更好的性能。

    Dec, 2023

  • SplattingAvatar：基于网格嵌入高斯簇状点绘制的逼真实时人类头像

    用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示，可在现代 GPU 上达到每秒 300 帧，移动设备上达到每秒 30 帧，并通过显式网格几何和隐式外观模型化人物的运动与外观。

    Mar, 2024

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • HUGS: 人类高斯斑点

    通过 3D 高斯模糊表示 animatable 的人物及其所在的场景，以实现对动画人物的新姿势合成和人物和场景的新视图合成，并在提高渲染质量的同时，训练速度更快。

    Nov, 2023

  • HAHA: 高度可表达的高斯人类化身与纹理化网格优先

    从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡，表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域（如头发和网格之外的衣物）应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上，我们的方法的重建质量与最先进方法相当，而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。

    Apr, 2024

  • ASH：适用于高效和逼真人体渲染的可动态调整的高斯散射体

    提议了 ASH 方法，一种用于实时渲染动态人物的可控逼真的动画高斯样本化方法，相比其他现有的实时方法，在姿势可控的人物形象方面表现出色，与离线方法相比表现相当甚至更好。

    Dec, 2023

  • GAvatar：具有隐含网格学习的可动态变形的三维高斯化身

    使用高斯飞溅生成逼真的可动化虚拟角色，并通过基于文本描述的图像生成方法，解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制，具有出色的外观和几何质量，并具有极快的渲染速度（100 FPS）以及 1K 分辨率。

    Dec, 2023

  • 可变形的 3D 高斯喷洒技术用于可动式人型角色模型

    通过引入参数驱动的动力学到三维高斯喷点，本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色，并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像，实验证明其在数据集上在定量和视觉上均优于现有的技术。

    Dec, 2023