Aug, 2024
S^3D-NeRF：单次语音驱动神经辐射场用于高保真对话头合成
S^3D-NeRF: Single-Shot Speech-Driven Neural Radiance Field for High
Fidelity Talking Head Synthesis
TL;DR本研究针对现有语音驱动技术未能直接利用音频信息的问题，提出了一种单次语音驱动神经辐射场方法（S^3D-NeRF）。该方法引入层次化面部外观编码器和跨模态面部变形场，有效解决面部各区域的动态建模和嘴唇区域的时序一致性问题。实验表明，S^3D-NeRF在视频保真度和音频-视频同步方面超过了现有的技术。