使用逼真面部的视频合成人体上半身
本文介绍了一种基于模块化生成神经网络的方法,用来合成出一张人的图像并保证姿势、外貌和背景的一致性,其中包括了基于图像和动作的训练资料,以及对抗性判别器等技术来实现姿势合成,最终能够生成与动作类别准确匹配的图像,同时还可以将多个动作合成为视频。
Apr, 2018
本文提出了一种基于深度神经网络的方法,通过输入音频信号和短视频,生成个性化头部姿态、表情和口型同步,并使用记忆增强的生成对抗网络模块来优化合成效果的自然对话人脸视频。实验表明,该方法可以在较少帧数的情况下生成高质量、自然的对话人脸视频。
Feb, 2020
本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频:可信的运动预测和协调的外观生成,旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力,并在保持外观连贯性的同时处理异常和嘈杂数据,实验证明其优于现有技术。
Jul, 2018
本文提出了一种使用生成式对抗学习的新方法,用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题,并且将其分解成两个主要子任务,一是姿势条件的双向生成器,二是定义一个新型的损失函数,包含内容和风格项,旨在生成高感知质量的图像,可以在 DeepFashion 数据集上进行广泛的实验验证。
Sep, 2018
本文采用人工智能技术生成目标人物的视频,并提出了三个方面的挑战:将每个视频帧解构成前景和背景,提出一种理论驱动的 Gromov-Wasserstein 损失,对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明,我们的方法能够生成具有逼真的目标人物的视频,忠实地复制源人物的复杂动作。
May, 2022
本文提出了一种新模型,通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模,并引入了新的运动感知多尺度特征对齐模块来进行视频合成,从而实现了对头部姿态和表情的自由控制,并且得到了最优质的合成音频视频输出。
Apr, 2023
本文提出了一种新的姿态转换方法,通过使用组合神经网络,预测人的轮廓,服装标签和纹理,并在推理时利用训练有素的网络生成一个外观及其标签的统一表示,以对姿势变化做出响应,并使用背景完成外观的呈现,从而实现保留人物身份和外观,具有时间上的一致性和泛化能力。
Dec, 2020
使用 RGB 视频数据,我们提出了一种基于多模态学习的方法,可以同时合成数字角色的共语言面部表情和上半身动作。我们的方法从视频数据直接估计稀疏的面部关键点和上半身关节,并根据说话者的面部动作和身体关节动作合成合适的情感角色动作。通过对多个评估指标进行全面定量和定性实验证明,我们的方法具有低重建误差,能够为数字角色产生多样化的面部表情和身体动作。
Jun, 2024