May, 2022

从一段视频中复制动作生成虚假动作视频

PDF
TL;DR本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的 Gromov-Wasserstein 损失，对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。
artificial intelligencevideo generationtexture detailsgansfacial features
发现论文，激发创造
  • 达成同样动作：姿势引导的人体运动复制

    人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务，本研究通过在生成过程中引入感知损失、理论驱动的 Gromov-Wasserstein 损失和时域一致性，以及使用记忆模块，优化关键身体部位，从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明，该方法在 PSNR 和 FID 方面的表现明显优于现有的方法，分别提升了 7.2% 和 12.4%。

    Jun, 2024

  • 基于 3D 约束和细节增强的人体动作迁移

    使用生成对抗网络，将源角色的动作转移到目标角色上，并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合，利用重建的三维人体模型作为 GAN 的条件，进一步引入细节增强网络以增强转移结果的细节信息。实验表明，该方法在质量和数量上均优于现有技术。

    Mar, 2020

  • 网络视频中的动作转移：跳舞生成

    本文提出了一种利用计算方法在不同人之间传递身体动作的技术，基于生成网络，可以通过单个网络视频训练个人模型并生成具有照片级真实感的虚拟影像。

    Mar, 2019

  • MimicMotion： 自信感知姿势引导下的高质量人体动作视频生成

    提出了一种可控的视频生成框架 MimicMotion，通过引入自信姿势引导、基于姿势置信度的区域损失放大和渐进式潜在融合策略，实现了生成任意长度高质量视频的目标，并在各个方面显示出与之前方法相比的显著改进。

    Jun, 2024

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 每个人都跳舞

    本文介绍一种简单的方法来实现 “像我这样做” 的运动转移：使用 “姿势” 作为中间表示，从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体，并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。

    Aug, 2018

  • 使用逼真面部的视频合成人体上半身

    本文提出了一种基于生成对抗学习的人体上半身视频合成方法，利用上半身关键点、面部动作单元和姿势作为中间表示来实现源视频和目标视频之间的映射，实验结果表明我们的方法非常有效。

    Aug, 2019

  • 人体视频生成中增强逼真度的前景与背景动作解耦

    通过采用不同的运动表示方法，我们引入了一种可同时学习前景和背景动力学的技术，该技术通过把它们的运动分离开来。我们的模型在真实世界的视频训练中生成了前景和背景动作之间协调的视频，并通过引入全局特征来扩展视频生成到更长的序列，以确保平滑的连续性。这种方法在产生展示前景动作和反应背景动态的视频方面优于之前的方法。

    May, 2024

  • 基于生成对抗网络的人脸转换

    提出了一种基于生成对抗网络的端到端人脸转移方法，使用 CycleGAN 生成目标角色的面部图像并探究了 PatchGAN 以及不同感受野大小对生成图像的影响。

    Oct, 2017