Apr, 2024

TalkingGaussian: 通过高斯点插值实现结构持续的三维说话头合成

PDF
TL;DR本研究提出了一种基于变形的辐射场框架 TalkingGaussian，用于高保真度语音同步头像合成，并通过将模型分为两个分支来解决面部和口内区域的运动不一致问题，从而实现更准确的嘴部运动和结构的重建。
发现论文，激发创造
  • 高斯说话人：通过三维高斯喷洒合成特定说话人的形象

    使用 3D 高斯散点图作为基础，GaussianTalker 是一种基于音频驱动的说话人头部合成方法，具有准确的唇部同步和优秀的视觉质量，超过现有最先进的方法，并具有实时渲染性能。

    Apr, 2024

  • 高保真实时语音合成与音频驱动下的 3D 高斯状喷溅

    提出了 GaussianTalker，这是一个实时生成可调控姿势的会话头部的新框架，它利用 3D 高斯喷射（3DGS）的快速渲染能力，同时解决了直接控制 3DGS 与语音音频的挑战。

    Apr, 2024

  • GSTalker: 实时基于声音驱动的可变形高斯平铺生成对话脸部

    通过 Gaussian Splatting 进行 3D 音频驱动的说话人脸生成模型的快速训练和实时渲染，可在短时间内生成高保真度和音频同步的结果。

    Apr, 2024

  • HeadGaS: 三维高斯散点实时可动头部化身

    提出了使用三维高斯斑点（3DGS）进行三维头部重建和动画的 HeadGaS 模型，其利用可学习的潜在特征扩展了 3DGS 的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS 在实时推理帧率方面取得了最先进的结果，超过基线约 2dB，并将渲染速度加速至 10 倍以上。

    Dec, 2023

  • GauFRe：用于实时动态新视角合成的高斯变形场

    使用可变形 3D 高斯方法进行动态场景重建，将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示，同时使用静态高斯点云允许多层感知器集中其表示能力，最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。

    Dec, 2023

  • 三维几何感知的可变形高斯光斑在动态视图合成中的应用

    本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

    Apr, 2024

  • PSAvatar：一种基于点云的可变形形状模型，用于实时头像创建与 3D 高斯点云渲染

    介绍了一种利用离散几何基元创建参数化可变形形状模型，并利用三维高斯进行细节表示和高保真渲染的新型框架 PSAvatar，能够重建各种对象的高保真头像，实现实时动画效果（分辨率为 512 x 512，帧率≥25fps）。

    Jan, 2024

  • 高斯头像：带有 3D 高斯函数的真实感头像

    通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，我们介绍了一种新的方法 ——GaussianAvatars，用于创建在表情、姿势和视角方面可完全控制的逼真头像。

    Dec, 2023

  • 高斯体：三维高斯板片的衣着人物重建

    本研究提出了一种名为 GaussianBody 的新型服装人体重建方法，基于 3D 高斯散射模型。该方法通过显式姿势引导形变，引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明，该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果，同时还能明确地重建几何结构。

    Jan, 2024

  • 高斯头像：动态混合神经场的令人印象深刻的基于高斯的 3D 头像

    基于 3D 高斯原理，我们提出了一个名为 GaussianHead 的头像算法，它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见，使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果，并保持高渲染效率（每帧 0.12 秒）。有关代码和其他视频可以在项目主页上找到。

    Dec, 2023