DT-NeRF：高保真说话肖像合成的分解三面体哈希神经辐射场

Sep, 2023

DT-NeRF：高保真说话肖像合成的分解三面体哈希神经辐射场

DT-NeRF: Decomposed Triplane-Hash Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

Yaoyu Su, Shaohui Wang, Haoqian Wang

TL;DR通过分解三层散射哈希神经辐射场（DT-NeRF）框架，将口腔和面部其他特征分别建模，加入音频特征并利用神经辐射场（NeRF）的能力，以增强人脸的体积表示，从而在逼真渲染的说话人脸方面取得了最先进的结果。

Abstract

In this paper, we present the decomposed triplane-hash neural radiance fields (dt-nerf), a framework that significantly improves the photorealist

dt-nerf photorealistic rendering talking faces facial features neural radiance fields

发现论文，激发创造

高保真语音与图像合成的高效区域感知网络燃射场

本论文提出了一种名为 ER-NeRF 的新型条件神经辐射场（NeRF）架构，用于对话肖像合成，可以同时实现快速收敛、实时渲染和小型模型的最新性能。

Jul, 2023

形变神经辐射场一次高保真说话头合成

本文提出了 HiDe-NeRF，其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性，从而实现高保真和自由视角的说话头合成。

Apr, 2023

学习动态面部辐射场以进行少样本说话头合成

本篇论文中，我们提出了一种名为 DFRT 的方法用于 few-shot 声音驱动下的面部融合。我们的方法使用 2D 图像来学习面部的先验知识，并且可以通过少量的训练数据应用于新的身份。同时，我们还提出了一种可微的面部扭曲模块以更好地建模面部变形。最终的实验结果表明，我们的方法可以在很短的时间内生成高质量的自然音频驱动的视频。

Jul, 2022

AD-NeRF：音频驱动的神经光辐射场用于说话人头部合成

本文提出了一种基于神经场景表示网络的方法来生成高保真度的会说话头部视频，采用条件隐式函数和动态神经辐射场来直接从输入音频信号生成视频，并支持自由调整音频信号，视角和背景图像。

Mar, 2021

NeRF-AD: 基于注意力解耦的神经辐射场对话人脸合成

通过引入基于注意力的解缠模块（NeRF-AD），本文提出了一种基于 Neural Radiance Field 的语音驱动说话人脸合成方法，可以生成逼真且具有嘴唇同步效果的说话人脸视频。

Jan, 2024

AE-NeRF: 音频增强的神经辐射场用于少样本说话头合成

本文提出了一种名为 AE-NeRF 的音频增强神经辐射场模型，该模型能够生成具有少量样本的新演讲者的逼真肖像。实验证明，AE-NeRF 在图像保真度、音频嘴唇同步和泛化能力方面超过了现有技术，即使在有限的训练数据或训练迭代次数下也能取得优异结果。

Dec, 2023

Tetra-NeRF: 使用四面体表示神经辐射场

该论文提出了一种新颖的自适应表示方法，即基于四面体和 Delaunay 表示的方法，用于 Neural Radiance Fields，该方法在视角合成和三维重建方面具有最先进的结果。

Apr, 2023

NLDF：用于高效三维动态说话头生成的神经光动力场

提出了一种基于神经辐射场模型的说话脸生成方法，通过利用神经光动力场模型来加速渲染速度，同时使用知识蒸馏和动态训练策略，实现了生成高质量三维说话脸视频的效果和速度的显著提升。

Jun, 2024

NeRFFaceSpeech：一次性音频驱动的 3D 说话头合成基于生成先验

使用 NeRF 和生成模型的先验知识，提出了一种名为 NeRFFaceSpeech 的新方法，通过空间同步和补全缺失信息，实现了从单一图像生成具有增强的 3D 一致性的语音驱动的说话头部。

May, 2024

RigNeRF: 全控制神经网络 3D 肖像

本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

Jun, 2022