Dec, 2023

HeadGaS: 三维高斯散点实时可动头部化身

PDF
TL;DR提出了使用三维高斯斑点（3DGS）进行三维头部重建和动画的 HeadGaS 模型，其利用可学习的潜在特征扩展了 3DGS 的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS 在实时推理帧率方面取得了最先进的结果，超过基线约 2dB，并将渲染速度加速至 10 倍以上。
发现论文，激发创造
  • 人体高斯扩散：可动化虚拟形象的实时渲染

    该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题，通过提出了基于三维高斯散点的可动态化的人体模型，相较于现有方法，在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR，并能以 20fps 或更高的速度进行渲染。

    Nov, 2023

  • 3DGS-Avatar：通过可变形的三维高斯点渲染实现动态化人物形象

    使用 3D 高斯喷洒（3DGS），我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化，我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍，并实现了与最先进方法相媲美甚至更好的性能。

    Dec, 2023

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • GAvatar：具有隐含网格学习的可动态变形的三维高斯化身

    使用高斯飞溅生成逼真的可动化虚拟角色，并通过基于文本描述的图像生成方法，解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制，具有出色的外观和几何质量，并具有极快的渲染速度（100 FPS）以及 1K 分辨率。

    Dec, 2023

  • 可驾驶的三维高斯化身

    我们提出了可驾驶的三维高斯化身模型（D3GA），这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试（或两者都需要）不同，我们使用最近提出的三维高斯分布点技术（3DGS）以实时帧率渲染逼真的人体，使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法（LBS）不同，我们使用经典的容积形变方法来变形这些形状，即笼状形变。我们使用关节角度和关键点驱动这些形变，因为它们更适用于通信应用。当使用相同的训练和测试数据时，我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。

    Nov, 2023

  • ASH：适用于高效和逼真人体渲染的可动态调整的高斯散射体

    提议了 ASH 方法，一种用于实时渲染动态人物的可控逼真的动画高斯样本化方法，相比其他现有的实时方法，在姿势可控的人物形象方面表现出色，与离线方法相比表现相当甚至更好。

    Dec, 2023

  • 3D-HGS: 三维半高斯飘带

    基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

    Jun, 2024

  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023

  • SplattingAvatar：基于网格嵌入高斯簇状点绘制的逼真实时人类头像

    用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示，可在现代 GPU 上达到每秒 300 帧，移动设备上达到每秒 30 帧，并通过显式网格几何和隐式外观模型化人物的运动与外观。

    Mar, 2024

  • HeadStudio: 将文本转换为可动画的头像，使用 3D 高斯点阵

    该研究通过利用 3D 高斯点的语义驱动 FLAME 模型生成真实且动态的数字化头像，从文本提示中产生可动画头像，并在实验中表现出具有视觉吸引力的高质量外观。

    Feb, 2024