May, 2022

从一段视频中复制动作生成虚假动作视频

HTML
PDF
TL;DR本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的Gromov-Wasserstein损失，对面部特征进行几何引导并使用本地GANs细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。
发现论文，激发创造
  • 基于骨架的关节运动生成

    该研究通过利用单个图像，结合人体骨骼信息、姿态运动、外观参照和triplet loss，构建一个条件 GAN 框架，能够生成更真实的动态人体运动序列。研究数据集包括KTH和Human3.6M。

    Jul, 2017

  • 利用正交信息层次生成视频：光流和纹理

    使用光流作为motion信息的FTGAN模型，包含FlowGAN和TextureGAN，实现了在无监督学习的情况下生成更真实的视频，可帮助提高动作分类的性能。

    Nov, 2017

  • 动态转移 GAN: 通过从源视频传输任意时间动态到单个目标图像来生成视频

    提出了一种新的基于生成对抗学习的方法Dynamics Transfer GAN，用于生成空间时间连续且具有目标图像的视觉特征的视频序列。通过两个鉴别器对所生成的视频序列进行验证，实验结果表明该方法成功地将源视频序列的任意动态特征转移到了目标图像上，同时保持了目标图像的时空连贯性和外观。

    Dec, 2017

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 人类演员视频的神经渲染及再现

    该研究提出了一种基于视频的真实人物动画生成方法，利用中等质量的可控 3D 模板模型和神经网络技术，成功实现了人物形象的逼真渲染和编辑。

    Sep, 2018

  • 液态变形GAN: 一种用于人体动作模仿，外观转移和新视角合成的统一框架

    本文提出了一种基于3D人体网格恢复的单一框架，涉及到人体运动模仿、外观转移和新视角合成；同时使用液态变形GAN进行纹理、样式、颜色和面部等特征的提取和特征空间的传播，支持多个源的自适应扭曲。

    Sep, 2019

  • G3AN: 视频生成中外观和运动的分离

    提出了一种名为G$^{3}$AN的新型时空生成模型，用于捕捉高维视频数据的分布，并以分离的方式模拟外观和动作，在面部表情数据集MUG和UvA-NEMO，以及人类行动数据集Weizmann和UCF101上显著优于现有方法，并分析了学习到的潜在表示的成功分解。

    Dec, 2019

  • REMOT: 适用于逼真人体动作转移的区域至整体框架

    本文提出了一种基于生成对抗网络的全局对齐迁移框架 (REgionto-whole human MOtion Transfer)，通过逐步生成多个身体部位并使用全局对齐模块来对齐源人的比例和位置，再使用纹理对齐模块来保持每个人的部分的相似性，在两个公共基准测试中取得了最先进的结果。

    Sep, 2022

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为PIDM的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 达成同样动作：姿势引导的人体运动复制

    人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务，本研究通过在生成过程中引入感知损失、理论驱动的Gromov-Wasserstein损失和时域一致性，以及使用记忆模块，优化关键身体部位，从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明，该方法在PSNR和FID方面的表现明显优于现有的方法，分别提升了7.2%和12.4%。

    Jun, 2024