Jun, 2024

达成同样动作：姿势引导的人体运动复制

PDF
TL;DR人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务，本研究通过在生成过程中引入感知损失、理论驱动的 Gromov-Wasserstein 损失和时域一致性，以及使用记忆模块，优化关键身体部位，从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明，该方法在 PSNR 和 FID 方面的表现明显优于现有的方法，分别提升了 7.2% 和 12.4%。
human motion copyartificial intelligencecomputer visiongantemporal consistency
发现论文，激发创造
  • 从一段视频中复制动作生成虚假动作视频

    本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的 Gromov-Wasserstein 损失，对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。

    May, 2022

  • 每个人都跳舞

    本文介绍一种简单的方法来实现 “像我这样做” 的运动转移：使用 “姿势” 作为中间表示，从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体，并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。

    Aug, 2018

  • 基于 3D 约束和细节增强的人体动作迁移

    使用生成对抗网络，将源角色的动作转移到目标角色上，并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合，利用重建的三维人体模型作为 GAN 的条件，进一步引入细节增强网络以增强转移结果的细节信息。实验表明，该方法在质量和数量上均优于现有技术。

    Mar, 2020

  • 人体姿态预测的模仿学习

    提出了一种新的基于增强学习的姿势预测模型，结合行为克隆和生成对抗学习，通过这种模型对未来的人体姿势进行预测，实验结果表明该模型在短期和长期预测方面优于现有方法。

    Sep, 2019

  • 姿势引导的人体视频生成

    本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

    Jul, 2018

  • MimicMotion： 自信感知姿势引导下的高质量人体动作视频生成

    提出了一种可控的视频生成框架 MimicMotion，通过引入自信姿势引导、基于姿势置信度的区域损失放大和渐进式潜在融合策略，实现了生成任意长度高质量视频的目标，并在各个方面显示出与之前方法相比的显著改进。

    Jun, 2024

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • 从野外单张图像中的姿势引导的人类动画

    本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

    Dec, 2020

  • 合成人类不常见的姿势图像

    本文介绍了一种基于模块化生成神经网络的方法，用来合成出一张人的图像并保证姿势、外貌和背景的一致性，其中包括了基于图像和动作的训练资料，以及对抗性判别器等技术来实现姿势合成，最终能够生成与动作类别准确匹配的图像，同时还可以将多个动作合成为视频。

    Apr, 2018

  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017