本文研究了从单个样本的无条件合成中快速生成动作的训练时间并通过精心调节损失函数权重以防止模式崩溃,通过在生成器和鉴别器模型中进行统计分析来实现转移学习,并在 Mixamo 基准测试中展示比原始 GAN 架构和单次扩散模型更高的质量和多样性,训练时间更快。最后,我们展示了改进的 GAN 在单次前向传递中混合和组合运动的能力。
Jun, 2024
提出了一种名为 G$^{3}$AN 的新型时空生成模型,用于捕捉高维视频数据的分布,并以分离的方式模拟外观和动作,在面部表情数据集 MUG 和 UvA-NEMO,以及人类行动数据集 Weizmann 和 UCF101 上显著优于现有方法,并分析了学习到的潜在表示的成功分解。
Dec, 2019
本文提出一种名为 Kinetic-GAN 的生成对抗网络结构,利用生成对抗网络和图卷积网络综合分析人体动力学的时空动态,可以在本地和整体身体运动中对多达 120 个不同动作进行调整,从而提高样本质量和多样性,并通过潜在空间解缠和随机变化,能够合成大量的不同动作序列,超越了已有的方法。
Oct, 2021
该研究通过利用单个图像,结合人体骨骼信息、姿态运动、外观参照和 triplet loss,构建一个条件 GAN 框架,能够生成更真实的动态人体运动序列。研究数据集包括 KTH 和 Human3.6M。
Jul, 2017
本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法,用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务;该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练,并进行了多种动作类型和数据集的测试,其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。
Nov, 2017
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021
本研究使用生成对抗网络(GANs)提出一种新颖的人体运动建模生成模型,通过每个时间尺度的密集验证和扰动鉴别器输入来实现运动生成与完成,并在 Human 3.6M 和 CMU 运动捕捉数据集上进行了评估。
Apr, 2018
该论文提出了一个半监督 GAN 系统,用于合成一个角色的反应动作,给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督,证明了该系统的有效性和鉴别性。
我们介绍了一种利用稀疏关键点在三维场景中合成动画指导人类运动的方法,该方法通过将连续运动合成问题分解为沿路径行走和在关键点指定的动作之间的转换,生成长序列的动作,并在目标为原点的规范坐标系中生成运动以实现持续运动合成。
Apr, 2023
使用生成对抗网络,将源角色的动作转移到目标角色上,并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合,利用重建的三维人体模型作为 GAN 的条件,进一步引入细节增强网络以增强转移结果的细节信息。实验表明,该方法在质量和数量上均优于现有技术。
Mar, 2020