Apr, 2024

高保真实时语音合成与音频驱动下的 3D 高斯状喷溅

PDF
TL;DR提出了 GaussianTalker，这是一个实时生成可调控姿势的会话头部的新框架，它利用 3D 高斯喷射（3DGS）的快速渲染能力，同时解决了直接控制 3DGS 与语音音频的挑战。
gaussiantalkerreal-time generationpose-controllable talking heads3d gaussian splattingspatial-audio attention module
发现论文，激发创造
  • 高斯说话人：通过三维高斯喷洒合成特定说话人的形象

    使用 3D 高斯散点图作为基础，GaussianTalker 是一种基于音频驱动的说话人头部合成方法，具有准确的唇部同步和优秀的视觉质量，超过现有最先进的方法，并具有实时渲染性能。

    Apr, 2024

  • GSTalker: 实时基于声音驱动的可变形高斯平铺生成对话脸部

    通过 Gaussian Splatting 进行 3D 音频驱动的说话人脸生成模型的快速训练和实时渲染，可在短时间内生成高保真度和音频同步的结果。

    Apr, 2024

  • TalkingGaussian: 通过高斯点插值实现结构持续的三维说话头合成

    本研究提出了一种基于变形的辐射场框架 TalkingGaussian，用于高保真度语音同步头像合成，并通过将模型分为两个分支来解决面部和口内区域的运动不一致问题，从而实现更准确的嘴部运动和结构的重建。

    Apr, 2024

  • HeadGaS: 三维高斯散点实时可动头部化身

    提出了使用三维高斯斑点（3DGS）进行三维头部重建和动画的 HeadGaS 模型，其利用可学习的潜在特征扩展了 3DGS 的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS 在实时推理帧率方面取得了最先进的结果，超过基线约 2dB，并将渲染速度加速至 10 倍以上。

    Dec, 2023

  • Talk3D：个性化 3D 生成先验的高保真说话肖像合成

    Talk3D 是一种新的音频驱动的说话头合成框架，通过有效地采用预训练的 3D 感知生成先验模型，可以忠实地重建其合理的面部几何形状。通过音频驱动的注意力 U-Net 架构，我们的模型预测 NeRF 空间中由音频驱动的动态面部变化，并由与音频无关的调节令牌调制，有效地解耦与音频特征无关的变化。与现有方法相比，我们的方法在生成逼真的面部几何形状方面表现出色，即使在极端的头部姿势下也能如此。我们还进行了广泛的实验证明我们的方法在定量和定性评估方面超越了现有的最新基准。

    Mar, 2024

  • 利用 GAN 实现逼真的语音驱动面部动画

    本文介绍了一种基于语音信号自动生成会说话的角色的方法，该方法使用了端到端的系统并使用 Generative Adversarial Network (生成对抗网络) 来确保视频与音频的实时同步，并且产生了自然的面部表情。

    Jun, 2019

  • MakeItTalk: 面向发言人的说话人头动画

    本文提出了一种从单个面部图像与仅含音频的输入生成富有表现力的谈话头像的方法，并能以单一的统一框架中合成艺术绘画、素描、2D 卡通角色、日本漫画和风格化漫画等图像，并通过定量和定性方法的评估以及用户研究，证明其比现有技术的生成头像的质量显着更高。

    Apr, 2020

  • 实时逼真的说话人头部动画

    本文介绍了一种由音频信号驱动的、生成具有个性化的逼真说话动画的活体系统，包括从音频信号中提取深度音频特征，分析面部动态和姿态，并在最终的阶段生成逼真的面部细节。

    Sep, 2021

  • 基于时间 GAN 的端到端语音驱动的面部动画

    使用时间依赖的 GAN 模型和音视频同步的方法，实现了从原始音频和人物图像生成高质量且与个体无关的自然面部表情和嘴唇运动的视频。

    May, 2018

  • GeneFace++: 实时稳定的通用音频驱动 3D 口型生成

    GeneFace++ 是目前第一个实现了稳定和实时的通用音频 - 唇形同步对话人肖像生成，并通过采用辅助特征、引入时间损失、设计计算效率高的 NeRF 模型等方法处理了唇形同步、视频质量和系统效率等方面的挑战。

    May, 2023