在规范动作空间中进行生成性动作风格化
人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合,实现了多样化的风格化结果,具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。
Jan, 2024
MotionCLIP 是一种 3D 人体运动自编码器,在 latent space 中对接 CLIP 模型,以获得无与伦比的文本到运动的能力,实现了跨域动作,编辑和抽象语言规范等功能。
Mar, 2022
本文提出了一种自我监督的方法来生成多样且自然的人体动作,通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料,并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上,我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力,并且这种方法能够适应未见数据,在动态世界中这种生成的序列有实实在在的效果。
Aug, 2020
我们提出了一种基于扩散模型的即时人体运动风格转移学习方法,通过几分钟的微调学习,可以将未知的风格转移到不同的内容运动中,且仅需要一个风格示例和以中立运动为主的文本到运动数据集(例如 HumanML3D)。
Mar, 2024
本文提出了一种数据驱动的运动风格转移框架,该框架学习来自带样式标签的不成对运动集合,并能够从视频直接提取运动风格进行转移。该框架还能够绕过 3D 重建并将其应用于 3D 输入运动,其中运动的内容和风格经过编码,分别在解码合成过程中起不同的作用。实验结果表明,该方法在不需要成对训练数据的情况下,其结果可与最先进的方法相媲美,并且在转移先前未见过的风格时优于其他方法。同时,该方法还是首次从视频到 3D 动画实现风格转移的研究。
May, 2020
本文提出了一种针对数字人运动合成的解决方案,使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式,并使用对抗性和物理规则来实现全局引导。实验结果表明,该方法能够产生高质量、逼真的人体运动,并有效验证了多任务架构的有效性。
Dec, 2022
本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及 MoT++ 等关键概念,并通过实验证明了提出的方法在 KIT Motion-Language 和 HumanML3D 数据集上的有效性。
Jul, 2024
本研究提出了一种利用动画合成网络来模拟基于本地运动相的运动内容的风格建模系统,通过特征变换来实时调制风格,其在实时风格建模方面的鲁棒性和效率得到了提高。
Jan, 2022
MotionClone 是一个无需训练的框架,通过时间注意力机制从参考视频中克隆运动以控制文本到视频生成,同时引入了区域感知的语义引导机制提升生成模型的空间关系和随机应变能力,实验结果显示 MotionClone 在全局摄像机运动和局部目标运动方面表现出色,并具有运动保真度高、文本对齐准确和时序一致等显著优势。
Jun, 2024
提出了 CLIP-Actor:一种基于文本的动作推荐和神经网格风格化系统,能够根据文本提示为 3D 人类网格动画建议运动序列和优化网格样式属性,这对于以前无法生成符合自然语言提示的 3D 人物运动效果是非常独特的,CLIP-Actor 可以仅仅通过自然语言提示产生具有细节几何和纹理的真人可识别的风格 3D 人类网格运动。
Jun, 2022