人类演员视频的神经渲染及再现
该研究通过利用单个图像,结合人体骨骼信息、姿态运动、外观参照和triplet loss,构建一个条件 GAN 框架,能够生成更真实的动态人体运动序列。研究数据集包括KTH和Human3.6M。
Jul, 2017
本文提出了一种新的方法,通过使用神经网络从视频中提取人体运动的高级潜在表示的方法,实现了不需要显式重建三维姿态和/或相机参数的不同人类表演者之间的视频捕获运动的再定向。
May, 2019
本文介绍了一种新的人类视频合成方法,通过两个卷积神经网络(CNNs)明确分离2D屏幕空间中的人类嵌入和时间相干的细节,其中第一个CNN预测一个动态纹理映射,第二个CNN条件下第一个CNN的输出生成最终的视频。 该方法被应用于人类重演和单目视频的新视图合成等多个领域,并且在质量和数量方面都有显着的提高。
Jan, 2020
本文提出了一种新的姿态转换方法,通过使用组合神经网络,预测人的轮廓,服装标签和纹理,并在推理时利用训练有素的网络生成一个外观及其标签的统一表示,以对姿势变化做出响应,并使用背景完成外观的呈现,从而实现保留人物身份和外观,具有时间上的一致性和泛化能力。
Dec, 2020
通过视频重建一个可动画的模型,运用深度学习网络训练产生了一种体积式3D人体表达,实现了新颖的姿态/视角的综合和不需要预先装配模型的图像合成。研究证明了该模型的有效性并展示了不同人的视频实验结果以及模型的运用:运动重定向和子弹时间效果。
Dec, 2020
提出了一种名为Neural Actor的新方法,可从任意视角和任意可控姿势中合成高质量的人类形象,其基于最近的神经场景表示和渲染作品,利用粗体模型将周围的三维空间映射为规范姿势,并从多视角视频输入中学习姿态依赖的几何变形和姿态和视觉依赖的外观效果,以预测残差变形和动态外观,并支持合成结果的体形控制。
Jun, 2021
本文采用人工智能技术生成目标人物的视频,并提出了三个方面的挑战:将每个视频帧解构成前景和背景,提出一种理论驱动的Gromov-Wasserstein损失,对面部特征进行几何引导并使用本地GANs细化脸部、脚部和手部。实验结果表明,我们的方法能够生成具有逼真的目标人物的视频,忠实地复制源人物的复杂动作。
May, 2022
人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务,本研究通过在生成过程中引入感知损失、理论驱动的Gromov-Wasserstein损失和时域一致性,以及使用记忆模块,优化关键身体部位,从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明,该方法在PSNR和FID方面的表现明显优于现有的方法,分别提升了7.2%和12.4%。
Jun, 2024
综述了人体视频生成领域的最新研究进展和存在的挑战,包括人体视频生成的基本原理、生成模型的发展、基于文本、音频和姿态驱动的运动生成方法,以及评估生成视频质量和实际性的数据集和指标。为研究人员提供了对人体视频生成领域的全面了解,并指出了未来研究的可能方向。
Jul, 2024