本篇论文中,我们提出了一种名为 DFRT 的方法用于 few-shot 声音驱动下的面部融合。我们的方法使用 2D 图像来学习面部的先验知识,并且可以通过少量的训练数据应用于新的身份。同时,我们还提出了一种可微的面部扭曲模块以更好地建模面部变形。最终的实验结果表明,我们的方法可以在很短的时间内生成高质量的自然音频驱动的视频。
Jul, 2022
本文提出了 HiDe-NeRF,其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性,从而实现高保真和自由视角的说话头合成。
Apr, 2023
通过分解三层散射哈希神经辐射场(DT-NeRF)框架,将口腔和面部其他特征分别建模,加入音频特征并利用神经辐射场(NeRF)的能力,以增强人脸的体积表示,从而在逼真渲染的说话人脸方面取得了最先进的结果。
Sep, 2023
本文提出了一种基于神经场景表示网络的方法来生成高保真度的会说话头部视频,采用条件隐式函数和动态神经辐射场来直接从输入音频信号生成视频,并支持自由调整音频信号,视角和背景图像。
Mar, 2021
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相似的网络大小下约 254 倍的加速。
Aug, 2023
本文提出了一种基于动态神经辐射场的算法,通过表面的位置和朝向在观测空间中进行条件化,像素的渲染基于不同姿态下的表面反射的颜色来实现遮挡的效果,有效地改善了单目 RGB 视频中移动高光物体的重建质量。
Mar, 2023
本文介绍一种新的深度残差 MLP 网络用于学习 Neural Light Field(NeFL),通过从预训练的 NeRF 模型中转移知识进行数据精馏,以此消除 NeRF 的迭代采样问题,在合成和现实场景下的实验结果表明,与其他算法相比,我们的方法在节省计算资源和提高渲染质量方面具有明显的优势。
Mar, 2022
使用 NeRF 和生成模型的先验知识,提出了一种名为 NeRFFaceSpeech 的新方法,通过空间同步和补全缺失信息,实现了从单一图像生成具有增强的 3D 一致性的语音驱动的说话头部。
May, 2024
本论文提出了一种名为 ER-NeRF 的新型条件神经辐射场(NeRF)架构,用于对话肖像合成,可以同时实现快速收敛、实时渲染和小型模型的最新性能。
Jul, 2023
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020