Sep, 2022

REMOT: 适用于逼真人体动作转移的区域至整体框架

HTML
PDF
TL;DR本文提出了一种基于生成对抗网络的全局对齐迁移框架 (REgionto-whole human MOtion Transfer)，通过逐步生成多个身体部位并使用全局对齐模块来对齐源人的比例和位置，再使用纹理对齐模块来保持每个人的部分的相似性，在两个公共基准测试中取得了最先进的结果。
发现论文，激发创造
  • 基于骨架的关节运动生成

    该研究通过利用单个图像，结合人体骨骼信息、姿态运动、外观参照和triplet loss，构建一个条件 GAN 框架，能够生成更真实的动态人体运动序列。研究数据集包括KTH和Human3.6M。

    Jul, 2017

  • 液态变形GAN: 一种用于人体动作模仿，外观转移和新视角合成的统一框架

    本文提出了一种基于3D人体网格恢复的单一框架，涉及到人体运动模仿、外观转移和新视角合成；同时使用液态变形GAN进行纹理、样式、颜色和面部等特征的提取和特征空间的传播，支持多个源的自适应扭曲。

    Sep, 2019

  • DwNet: 密集基于光流场的人体姿态引导视频生成网络

    该研究报告介绍了一种基于 GAN 的架构 DwNet，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观，以纹理的形式，从一种姿势变换成所需的姿势，进而生成具有时序一致性的高分辨率人像视频，并在两个基准数据集上展现出先进的性能表现

    Oct, 2019

  • 基于注意力机制的液态变形 GAN：人体图像合成的统一框架

    本研究提出了一种综合框架，通过使用三维身体网格恢复模块来脱离人体姿势和形状，结合注意力液态变形生成对抗网络以及一/少量样本对抗性学习，控制姿势，身体形状，面部身份，纹理，衣服细节等信息的综合合成和移植， 可以实现人体图像合成（包括人体动作模仿，外观转移和新视角合成）的高可靠性。

    Nov, 2020

  • C2F-FWN: 用于时空一致运动转移的粗到细的流场矫正网络

    本研究提出了一种名为Coarse-to-Fine的流场网络，可以在人类视频运动转移中实现空间-时间一致性并支持外貌属性编辑。通过在SoloDance公共数据集和iPER数据集上进行的广泛实验，证明了该算法在空间和时间一致性方面优于现有技术。

    Dec, 2020

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从2D姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 基于流指导的可变瓶颈网络用于运动重定向

    该研究提出了一种基于隐式体积表示的方法来解决人的运动重定位问题，该方法可以从移动人的视频中仅学习到3D表示，具有很高的图像生成质量。

    Jun, 2021

  • 从一段视频中复制动作生成虚假动作视频

    本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的Gromov-Wasserstein损失，对面部特征进行几何引导并使用本地GANs细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。

    May, 2022

  • 达成同样动作：姿势引导的人体运动复制

    人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务，本研究通过在生成过程中引入感知损失、理论驱动的Gromov-Wasserstein损失和时域一致性，以及使用记忆模块，优化关键身体部位，从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明，该方法在PSNR和FID方面的表现明显优于现有的方法，分别提升了7.2%和12.4%。

    Jun, 2024