MMJul, 2022

基于动作条件的即时运动生成

PDF
TL;DR提出了一种新的框架 ODMO，用于仅以动作类型为条件生成逼真且多样化的长期 3D 人体运动序列，并具有自定义功能。该编码器使用对比学习来创建运动序列的分层嵌入，解码器使用分层解码策略，使得整个运动序列的木乃伊能够被重构，从而实现了有效的运动轨迹控制，从而实现了首个模式发现、插值和轨迹自定义等自定义功能，该代码在 Github 页面上发布。
发现论文，激发创造
  • 生成模型增强的人体动作预测

    提出了一种基于生成模型的新的 out-of-distribution (OoD) 基准，用于预测人类运动，并且这种方法能够有效地提高模型的鲁棒性和可解释性。

    Oct, 2020

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • MoDi: 来自多样化数据的无条件运动合成

    本文介绍了一个基于神经网络的 MoDi 生成模型，它能够从一个极其丰富、无结构及没标签的数据集中无监督地训练生成高质量、多样化的动作，并能将真实动作转换成可编辑的空间，从而提供了一种新的高级应用。

    Jun, 2022

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • 一种基于专家混合的三维人体动作预测方法

    本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

    May, 2024

  • 奥德赛的漫游在 3D 场景中

    本研究的目标是在数字环境中，实现数字人具有多样的身体形态，永不停歇的移动，并具有合理的身体 - 场景接触。为此，我们提出了基于体表标记的生成式运动原语（GAMMA）来生成真实、可控和无限长的 3D 运动，实验显示出比基于数据的方法更真实可控的结果。

    Dec, 2021

  • TEMOS: 从文本描述生成多样化的人类动作

    本文介绍了使用文本描述生成多样的 3D 人类动作的方法，并提出了 TEMOS 框架，它是一种基于变分自编码器的文本条件生成模型，可以产生多种不同的人体动作，实验证明 TEMOS 框架在 KIT Motion-Language 基准测试中取得了显著的改进。

    Apr, 2022

  • 基于扩散概率模型的人 - 物交互的分层生成

    提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

    Oct, 2023

  • MoVideo：使用扩散模型的运动感知视频生成

    提出一种新的运动感知视频生成 (MoVideo) 框架，从视频深度和光流两个方面考虑运动，并通过稀疏 - 时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。

    Nov, 2023

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021