本文介绍一种简单的方法来实现 “像我这样做” 的运动转移:使用 “姿势” 作为中间表示,从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体,并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。
Aug, 2018
提出 DreaMoving,一种基于扩散的可控制视频生成框架,用于生成高质量的个性化人类舞蹈视频。
Dec, 2023
本文采用人工智能技术生成目标人物的视频,并提出了三个方面的挑战:将每个视频帧解构成前景和背景,提出一种理论驱动的 Gromov-Wasserstein 损失,对面部特征进行几何引导并使用本地 GANs 细化脸部、脚部和手部。实验结果表明,我们的方法能够生成具有逼真的目标人物的视频,忠实地复制源人物的复杂动作。
May, 2022
我们提出了一种基于扩散的模型 MagicDance,用于处理具有挑战性的人类舞蹈视频中的 2D 人体动作和面部表情转换。通过预训练外观控制块和微调外观 - 姿势 - 关节点控制块的两阶段训练策略,我们旨在在保持身份不变的同时生成任何目标身份驱动的人类舞蹈视频。
Nov, 2023
该论文提出了一种基于自回归生成模型的新方法 DanceNet,以音乐的风格、节奏和旋律为控制信号生成具有高度真实感和多样性的 3D 舞蹈动作,并通过专业舞者捕捉了多组同步的音乐舞蹈配对数据集以提高模型性能,实验结果表明所提出的方法达到了最先进的效果。
Feb, 2020
本文介绍了一种生成高质量、多样化舞蹈序列的系统,使用包括 YouTube 视频在内的大量数据集进行训练,并引入了用于评价舞蹈动作质量的新指标。此系统可用于虚拟音乐会的动画生成和专业动画制作的参考。
Aug, 2020
使用生成对抗网络,将源角色的动作转移到目标角色上,并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合,利用重建的三维人体模型作为 GAN 的条件,进一步引入细节增强网络以增强转移结果的细节信息。实验表明,该方法在质量和数量上均优于现有技术。
Mar, 2020
该文提出了一种新的框架,通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示,从而解决了视频中松散的服装动态和细节的生成问题,实现了高保真的人类动作转移。
Dec, 2020
提出了一种名为 MultiDance-Zero 的零样本框架,用于合成符合任意多人和背景的视频,同时准确地遵循动作姿势,通过深入回溯获取最终清晰图像的背景和关键点,从而进一步提高生成视频的时序一致性。
Jan, 2024
提出了一种名为 “Dancing Avatar” 的方法,通过文本和姿势驱动,利用训练良好的 T2I 扩散模型生成逐帧人体运动视频,同时保持上下文相关性、人物外观一致性和背景连续性,实现生成具有出色质量的人类视频。
Aug, 2023