ECCVJul, 2022

学习动态面部辐射场以进行少样本说话头合成

PDF
TL;DR本篇论文中，我们提出了一种名为 DFRT 的方法用于 few-shot 声音驱动下的面部融合。我们的方法使用 2D 图像来学习面部的先验知识，并且可以通过少量的训练数据应用于新的身份。同时，我们还提出了一种可微的面部扭曲模块以更好地建模面部变形。最终的实验结果表明，我们的方法可以在很短的时间内生成高质量的自然音频驱动的视频。
talking head synthesisdynamic facial radiance fieldsfew-shot learningface warping moduleaudio-driven
发现论文，激发创造
  • 形变神经辐射场一次高保真说话头合成

    本文提出了 HiDe-NeRF，其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性，从而实现高保真和自由视角的说话头合成。

    Apr, 2023

  • AE-NeRF: 音频增强的神经辐射场 用于少样本说话头合成

    本文提出了一种名为 AE-NeRF 的音频增强神经辐射场模型，该模型能够生成具有少量样本的新演讲者的逼真肖像。实验证明，AE-NeRF 在图像保真度、音频嘴唇同步和泛化能力方面超过了现有技术，即使在有限的训练数据或训练迭代次数下也能取得优异结果。

    Dec, 2023

  • NeRFFaceSpeech：一次性音频驱动的 3D 说话头合成基于生成先验

    使用 NeRF 和生成模型的先验知识，提出了一种名为 NeRFFaceSpeech 的新方法，通过空间同步和补全缺失信息，实现了从单一图像生成具有增强的 3D 一致性的语音驱动的说话头部。

    May, 2024

  • AD-NeRF：音频驱动的神经光辐射场用于说话人头部合成

    本文提出了一种基于神经场景表示网络的方法来生成高保真度的会说话头部视频，采用条件隐式函数和动态神经辐射场来直接从输入音频信号生成视频，并支持自由调整音频信号，视角和背景图像。

    Mar, 2021

  • NLDF：用于高效三维动态说话头生成的神经光动力场

    提出了一种基于神经辐射场模型的说话脸生成方法，通过利用神经光动力场模型来加速渲染速度，同时使用知识蒸馏和动态训练策略，实现了生成高质量三维说话脸视频的效果和速度的显著提升。

    Jun, 2024

  • DT-NeRF：高保真说话肖像合成的分解三面体哈希神经辐射场

    通过分解三层散射哈希神经辐射场（DT-NeRF）框架，将口腔和面部其他特征分别建模，加入音频特征并利用神经辐射场（NeRF）的能力，以增强人脸的体积表示，从而在逼真渲染的说话人脸方面取得了最先进的结果。

    Sep, 2023

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • Talk3D：个性化 3D 生成先验的高保真说话肖像合成

    Talk3D 是一种新的音频驱动的说话头合成框架，通过有效地采用预训练的 3D 感知生成先验模型，可以忠实地重建其合理的面部几何形状。通过音频驱动的注意力 U-Net 架构，我们的模型预测 NeRF 空间中由音频驱动的动态面部变化，并由与音频无关的调节令牌调制，有效地解耦与音频特征无关的变化。与现有方法相比，我们的方法在生成逼真的面部几何形状方面表现出色，即使在极端的头部姿势下也能如此。我们还进行了广泛的实验证明我们的方法在定量和定性评估方面超越了现有的最新基准。

    Mar, 2024

  • Instruct-NeuralTalker: 用指令修改音频驱动的 Talking Radiance Fields

    本文提出了一种基于人类指令的交互式框架，利用最新的条件扩散模型实现对隐式神经表示的编辑，从而实现实时个性化的对话人脸生成，其在消费级硬件上实现了每秒最高 30 帧的实时渲染，并取得了显著的渲染质量改善。

    Jun, 2023

  • GeneFace：通用高保真音频驱动的 3D 人脸合成

    研究提出了一种新的通用高保真 NeRF-based 说话人脸生成方法 GeneFace，并且在大规模口型阅读语料库的基础上，学习了一个变分运动生成器，并引入了一个域自适应后置网络来校准结果，实现了通用外域音频的自然结果创造。

    Jan, 2023