基于骨架的关节运动生成
本研究介绍了一种名为 Skeleton2Humanoid 的系统,该系统通过物理学模拟器中的正则化合成骨架运动来执行基于物理的运动校正,在测试时间内提高合成人体骨架运动的物理可行性,并且在 LaFAN1 数据集上的实验证明,该系统在物理可行性和准确性方面显著优于先前的方法。
Oct, 2022
本文在三个主要方面提出了改进:(1)使用生成对抗网络(GAN)预测 3D 人体动作,(2)设计架构来学习身体姿势和全局动作的联合分布,(3)提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布,结果表明本文方法显著改善了现有技术,同时能够处理受到遮挡、噪声和丢失帧等影响的情况。
Dec, 2018
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用 Lie Algebra 理论和时序变分自编码器(VAE)来生成 3D 的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020
使用生成对抗网络,将源角色的动作转移到目标角色上,并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合,利用重建的三维人体模型作为 GAN 的条件,进一步引入细节增强网络以增强转移结果的细节信息。实验表明,该方法在质量和数量上均优于现有技术。
Mar, 2020
本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统,采用视角多样的相机捕捉人体动作信息,并通过多种技术手段计算出骨骼变换状况,从而能够高效准确地实现三维骨骼重建与实时动画生成。
Dec, 2022
提出了一种名为 G$^{3}$AN 的新型时空生成模型,用于捕捉高维视频数据的分布,并以分离的方式模拟外观和动作,在面部表情数据集 MUG 和 UvA-NEMO,以及人类行动数据集 Weizmann 和 UCF101 上显著优于现有方法,并分析了学习到的潜在表示的成功分解。
Dec, 2019
提出了一种名为 KeyMotion 的方法,通过生成关键帧并进行填充,实现根据输入文本生成逼真的人体运动序列。通过使用具有 Kullback-Leibler 正则化的变分自编码器(VAE)将关键帧投影到潜空间,来减少维度和加速扩散过程。同时,引入了一种新的并行跳过注意力机制的 Transformer,用于实现关键帧潜向量和文本条件之间的跨模态注意力。通过引入文本引导的 Transformer 进行动作填充,确保运动序列的保真度和遵循人体运动的物理约束。实验证明,该方法在 HumanML3D 数据集上达到了最先进的结果,所有 R-Precision 度量和多模态距离指标均优于其他方法。同时,在 KIT 数据集上也获得了有竞争力的性能,在 Top3 R-Precision、FID 和多样性度量指标上取得了最佳结果。
May, 2024
本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频:可信的运动预测和协调的外观生成,旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力,并在保持外观连贯性的同时处理异常和嘈杂数据,实验证明其优于现有技术。
Jul, 2018
我们提出了一种基于形状条件的运动扩散模型(SMD),该模型可以直接在网格格式中生成运动序列,并结合了频谱 - 时间自编码器(STAE)以在频谱域内利用跨时依赖关系。通过广泛的实验评估,我们证明了 SMD 不仅可以生成栩栩如生的真实动作,而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。
May, 2024
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021