合成人类不常见的姿势图像
我们提出了一种人体姿态模型,可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的RGB和深度图像。通过开发一个综合训练数据的框架,我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中,我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。
Jul, 2017
本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频:可信的运动预测和协调的外观生成,旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力,并在保持外观连贯性的同时处理异常和嘈杂数据,实验证明其优于现有技术。
Jul, 2018
本文提出了一种使用生成式对抗学习的新方法,用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题,并且将其分解成两个主要子任务,一是姿势条件的双向生成器,二是定义一个新型的损失函数,包含内容和风格项,旨在生成高感知质量的图像,可以在DeepFashion数据集上进行广泛的实验验证。
Sep, 2018
本研究旨在通过限定人体的粗略轮廓并控制特定服装类型实现真实人体图像的完整生成建模。我们提出了一种端到端可训练的生成式对抗网络架构,它提供了细节控制来生成具有高逼真度的图片,同时无需成对的训练数据,不必拟合 3D 姿势到 2D 图像的困难问题。该模型允许对基于目标领域的图像或标记特定的类别样式(例如 T 恤)进行条件生成。我们对该架构和每个独立要素的贡献进行了充分的实验评估,并通过大规模知觉研究表明,我们的方法可以生成逼真的图像,并且如果面部被模糊化,参与者很难识别真实的图片和虚假的图片之间的区别。
Jan, 2019
本文提出了一种新的姿态转换方法,通过使用组合神经网络,预测人的轮廓,服装标签和纹理,并在推理时利用训练有素的网络生成一个外观及其标签的统一表示,以对姿势变化做出响应,并使用背景完成外观的呈现,从而实现保留人物身份和外观,具有时间上的一致性和泛化能力。
Dec, 2020
通过视频重建一个可动画的模型,运用深度学习网络训练产生了一种体积式3D人体表达,实现了新颖的姿态/视角的综合和不需要预先装配模型的图像合成。研究证明了该模型的有效性并展示了不同人的视频实验结果以及模型的运用:运动重定向和子弹时间效果。
Dec, 2020
本研究设计了一种人类图像生成的生成模型,能够控制姿势,不同身体局部的外貌以及服装风格,能够生成高逼真度的图像,并在不同方面表现出色,如姿态控制、部位和服装转移以及关节采样。
Mar, 2021
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021
提出了一种名为Neural Actor的新方法,可从任意视角和任意可控姿势中合成高质量的人类形象,其基于最近的神经场景表示和渲染作品,利用粗体模型将周围的三维空间映射为规范姿势,并从多视角视频输入中学习姿态依赖的几何变形和姿态和视觉依赖的外观效果,以预测残差变形和动态外观,并支持合成结果的体形控制。
Jun, 2021
利用一个大规模的生成对抗网络,驱动人体姿态和场景之间微妙的关系,使得该网络能够产生出提供逼真姿态信息的虚拟场景。此网络在复杂度和大小方面均超过了StyleGAN2,并能在各种场景下使用,例如生成带有人体姿态的场景,提升照片质量等。
Dec, 2021