深度视频肖像
利用 3D 几何和生成对抗网络设计了一种新的深度学习架构,用于实现面部和头部再现任务,通过全新的序列生成器和动态判别器网络,可以以几乎实时的速度(18 fps)以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。
Jun, 2020
该研究提出了一种基于音频输入的编辑目标肖像画面的方法,通过将目标视频帧分解为表情、几何和姿势三个正交参数空间,再利用循环神经网络将源音频转化为表情参数,并在保留原始视频背景的同时合成一个逼真的人物主体,最后利用动态编程构建一个有序连贯且令人信服的逼真视频。
Jan, 2020
本文介绍了一种由音频信号驱动的、生成具有个性化的逼真说话动画的活体系统,包括从音频信号中提取深度音频特征,分析面部动态和姿态,并在最终的阶段生成逼真的面部细节。
Sep, 2021
该论文提出了一种使用 StyleGAN 网络的实时照片级写实肖像化重建方法,可在忠实表情控制下生成高保真肖像化头像,并通过引入组合表示和滑动窗口增强方法将其能力扩展到全身视频生成,使训练和应用的表现和效率得到了提高。
May, 2023
本文提出了一种新的面部再现的机器学习架构,该方法利用卷积神经网络进行特征提取及实现面部运动,注重嘴部及时间一致性,实现了将源角色的面部表情、姿势和视线传输到目标视频中,比现有技术更精确地展现了真实人像。
May, 2020
本文提出了一种基于深度神经网络的方法,通过输入音频信号和短视频,生成个性化头部姿态、表情和口型同步,并使用记忆增强的生成对抗网络模块来优化合成效果的自然对话人脸视频。实验表明,该方法可以在较少帧数的情况下生成高质量、自然的对话人脸视频。
Feb, 2020
Real3D-Potrait 是一种框架,通过使用大型图像到平面模型和高效的运动适配器,从而改进了一次性 3D 重建的能力,实现了精确的运动条件动画,并利用头 - 躯干 - 背景超分辨率模型生成具有自然躯干运动和可切换背景的逼真视频,同时支持一次性以音频驱动的说话脸生成。与以前的方法相比,广泛的实验证明 Real3D-Portrait 对于未见过的身份具有很好的泛化能力,并生成更逼真的说话肖像视频。
Jan, 2024
提出了一种基于图像的面部再现系统,其可用于将源视频用户的面孔替换为现有目标视频中演员的面孔,并保留原始目标性能,系统具有全自动化和不需要源表情数据库的特点,使用了图像检索和面部转移以产生令人信服的效果。
Feb, 2016