Oct, 2019

DwNet: 密集基于光流场的人体姿态引导视频生成网络

PDF
TL;DR该研究报告介绍了一种基于 GAN 的架构 DwNet，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观，以纹理的形式，从一种姿势变换成所需的姿势，进而生成具有时序一致性的高分辨率人像视频，并在两个基准数据集上展现出先进的性能表现
high-resolution videoshuman motion transfergan-based architecturetemporal consistencybenchmark datasets
发现论文，激发创造
  • 基于软门控制的 Warping-GAN 实现姿势引导的人像合成

    本文介绍了 Soft-Gated Warping Generative Adversarial Network（Warping-GAN）的开发，该网络利用了灵活轻便的规避块，以在生产人像时处理任意姿势等大尺度几何变换，并在两个大型数据集上得到了显着优越的表现。

    Oct, 2018

  • 基于 3D 约束和细节增强的人体动作迁移

    使用生成对抗网络，将源角色的动作转移到目标角色上，并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合，利用重建的三维人体模型作为 GAN 的条件，进一步引入细节增强网络以增强转移结果的细节信息。实验表明，该方法在质量和数量上均优于现有技术。

    Mar, 2020

  • 姿势引导的人体视频生成

    本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

    Jul, 2018

  • 液态变形 GAN: 一种用于人体动作模仿，外观转移和新视角合成的统一框架

    本文提出了一种基于 3D 人体网格恢复的单一框架，涉及到人体运动模仿、外观转移和新视角合成；同时使用液态变形 GAN 进行纹理、样式、颜色和面部等特征的提取和特征空间的传播，支持多个源的自适应扭曲。

    Sep, 2019

  • DeepWarp: 注视控制的逼真图像合成

    本文提出了一种新的深度神经网络架构，采用粗到细的图像变形和像素强度校正的方式，可以处理人脸重定向问题的特定实例，经过数值比较和用户研究表明可行。该架构能够在前向过程中处理所有操作，并以端到端的方式联合学习所有操作的参数。在学习之后，该神经网络能够合成具有操作后视线的图像，而重定向角度可从某一范围内自由选择提供给网络作为输入。

    Jul, 2016

  • 面向说话头部视频生成的深度感知生成对抗网络

    本文提出了一种基于深度学习的方法，使用自监督几何学习从人脸视频中自动恢复精细的三维几何结构，并应用于生成高度逼真的人脸视频。

    Mar, 2022

  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • 从一段视频中复制动作生成虚假动作视频

    本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的 Gromov-Wasserstein 损失，对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。

    May, 2022

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020