Nov, 2023

可驾驶的三维高斯化身

PDF
TL;DR我们提出了可驾驶的三维高斯化身模型（D3GA），这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试（或两者都需要）不同，我们使用最近提出的三维高斯分布点技术（3DGS）以实时帧率渲染逼真的人体，使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法（LBS）不同，我们使用经典的容积形变方法来变形这些形状，即笼状形变。我们使用关节角度和关键点驱动这些形变，因为它们更适用于通信应用。当使用相同的训练和测试数据时，我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。
drivable 3d gaussian avatars3d controllable modelgaussian splats3d gaussian splattingcage deformations
发现论文，激发创造
  • 3DGS-Avatar：通过可变形的三维高斯点渲染实现动态化人物形象

    使用 3D 高斯喷洒（3DGS），我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化，我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍，并实现了与最先进方法相媲美甚至更好的性能。

    Dec, 2023

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • HeadGaS: 三维高斯散点实时可动头部化身

    提出了使用三维高斯斑点（3DGS）进行三维头部重建和动画的 HeadGaS 模型，其利用可学习的潜在特征扩展了 3DGS 的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS 在实时推理帧率方面取得了最先进的结果，超过基线约 2dB，并将渲染速度加速至 10 倍以上。

    Dec, 2023

  • 可动态调节的三维高斯：快速高质量地重建多个人体化身

    用动态的 3D 高斯人物场景在复杂运动和动态阴影中实现高质量的重建，具有较短的训练时间、绘制速度和重建质量。

    Nov, 2023

  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • SplattingAvatar：基于网格嵌入高斯簇状点绘制的逼真实时人类头像

    用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示，可在现代 GPU 上达到每秒 300 帧，移动设备上达到每秒 30 帧，并通过显式网格几何和隐式外观模型化人物的运动与外观。

    Mar, 2024

  • GAvatar：具有隐含网格学习的可动态变形的三维高斯化身

    使用高斯飞溅生成逼真的可动化虚拟角色，并通过基于文本描述的图像生成方法，解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制，具有出色的外观和几何质量，并具有极快的渲染速度（100 FPS）以及 1K 分辨率。

    Dec, 2023

  • 可变形的 3D 高斯喷洒技术用于可动式人型角色模型

    通过引入参数驱动的动力学到三维高斯喷点，本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色，并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像，实验证明其在数据集上在定量和视觉上均优于现有的技术。

    Dec, 2023

  • 高斯头像：通过动态高斯实现超高保真度的头像

    高保真度 3D 头像模型的研究中，轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场，用于捕捉复杂表情。这两部分互相有益，因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外，我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验证明，我们的方法优于其他最先进的稀疏视图方法，在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。

    Dec, 2023

  • 利用非正式单眼视频创建可控制的人像

    本文介绍了 Rig3DGS，通过使用一组三维高斯分布在规范空间中表示整个场景，借助可以学习的形变方法来控制面部表情、头部姿势和视角合成，从而实现从单视角捕获生成高质量渲染的目标。

    Feb, 2024