姿势引导的人体视频生成
该论文提出了一种基于高层抽象建模视频预测问题的方法,利用人体姿态探测器作为监督信号,将视频预测问题分解为两个离散步骤,明确建模场景中的高层次结构,使用变分自编码器(VAE)建模场景中活动对象的潜在未来运动,并将生成的未来姿势作为条件输入给生成对抗网络(GAN)预测未来视频帧,该方法通过呈现的定量和定性评估表明,其优于时下流行的视频预测方法。
Apr, 2017
本论文提出了新颖的姿势引导人物生成网络(PG2),该网络可以基于人的图像和新颖的姿态来合成人体图像。PG2的生成框架明确利用了姿势信息,并包含两个关键阶段:姿势整合和图像细化。实验表明,该模型可以生成高质量、具有令人信服细节的人体图像。
May, 2017
该研究通过利用单个图像,结合人体骨骼信息、姿态运动、外观参照和triplet loss,构建一个条件 GAN 框架,能够生成更真实的动态人体运动序列。研究数据集包括KTH和Human3.6M。
Jul, 2017
本文章提出了一种基于序列到序列模型的、名为HP-GAN的人体运动预测方法,用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务;该方法利用改进的Wasserstein GAN和自定义损失函数进行训练,并进行了多种动作类型和数据集的测试,其预测能力的表现可通过只用10帧输入生成超过30帧的多个合理预测结果来体现。
Nov, 2017
本文介绍了一种基于模块化生成神经网络的方法,用来合成出一张人的图像并保证姿势、外貌和背景的一致性,其中包括了基于图像和动作的训练资料,以及对抗性判别器等技术来实现姿势合成,最终能够生成与动作类别准确匹配的图像,同时还可以将多个动作合成为视频。
Apr, 2018
本研究旨在通过限定人体的粗略轮廓并控制特定服装类型实现真实人体图像的完整生成建模。我们提出了一种端到端可训练的生成式对抗网络架构,它提供了细节控制来生成具有高逼真度的图片,同时无需成对的训练数据,不必拟合 3D 姿势到 2D 图像的困难问题。该模型允许对基于目标领域的图像或标记特定的类别样式(例如 T 恤)进行条件生成。我们对该架构和每个独立要素的贡献进行了充分的实验评估,并通过大规模知觉研究表明,我们的方法可以生成逼真的图像,并且如果面部被模糊化,参与者很难识别真实的图片和虚假的图片之间的区别。
Jan, 2019
该研究报告介绍了一种基于 GAN 的架构 DwNet,利用密集的姿态引导表示和改进的过程,将源图像中所需的主体外观,以纹理的形式,从一种姿势变换成所需的姿势,进而生成具有时序一致性的高分辨率人像视频,并在两个基准数据集上展现出先进的性能表现
Oct, 2019
本研究设计了一种人类图像生成的生成模型,能够控制姿势,不同身体局部的外貌以及服装风格,能够生成高逼真度的图像,并在不同方面表现出色,如姿态控制、部位和服装转移以及关节采样。
Mar, 2021
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021