Dec, 2023

人体动作合成与编辑的运动流匹配

PDF
TL;DR我们提出了一种新的生成模型 ——Motion Flow Matching，用于人体动作生成，其具有高效的采样速度和在运动编辑应用中的有效性。我们的方法将采样复杂度从以前扩散模型的数千步减少到仅十步，并在文本到动作和动作到动作生成基准测试中达到可比较的性能。我们的方法在 KIT-ML 数据集上创造了新的最先进的 Fréchet Inception Distance，并使用名为 sampling trajectory rewriting 的简单运动编辑范例，应用于各种编辑场景，包括运动预测、运动中间预测、运动插值和上半身编辑。我们的代码将会发布。
发现论文，激发创造
  • 高效文本驱动的运动生成：通过潜在一致性训练

    运动扩散模型通过运动潜变量的一致性训练提高运动生成性能，使用概率流常微分方程表达扩散过程，引入量化约束优化运动潜变量表示，提出条件生成方法并节省大量时间成本，实验结果表明该模型具有最先进的性能和较低的时间成本。

    May, 2024

  • Fg-T2M：基于扩散模型的精细文本驱动人体运动生成

    通过结合语言结构辅助模块和上下文感知渐进推理模块，我们提出了一种细粒度的方法，用于生成支持精确文本描述的高质量、有条件的人体动作序列。实验证明，我们的方法在 HumanML3D 和 KIT 测试集上胜过了基于文本驱动的动作生成方法，并能够根据文本条件生成更好的视觉确认动作。

    Sep, 2023

  • 基于示例的动作合成与生成式动作匹配技术

    GenMM 是一种生成式模型，使得从一个或少量样例序列中挖掘尽可能多的多样化运动成为可能。它采用双向视觉相似性作为生成成本函数进而采取多阶段框架渐进式生成运动，这使得生成高质量运动的时间大大减少，同时实现了各种场景的应用，包括运动完成、关键帧指导生成、无限循环和运动重组。

    Jun, 2023

  • FreeMotion：多模态大型语言模型的无动捕人体动作合成

    通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

    Jun, 2024

  • 通过一致的采样使用扩散模型合成长期人类运动

    我们提出了一种新方法，利用过去条件扩散模型和两种可选的相干采样方法：过去修复采样和组合过渡采样，实现由用户指导的长文本流控制的组合和连贯的长期三维人体动作生成。

    Aug, 2023

  • 利用扩散模型进行即时样式迁移的学习：一种语义引导方法

    我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

    Mar, 2024

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 人类运动扩散模型

    本文引入了 Motion Diffusion Model（MDM），这是一种经过精心设计的无分类器扩散生成模型，适用于人体运动领域，并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。

    Sep, 2022

  • 使用扩散模型进行受形状限制的人体动作生成

    我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

    May, 2024

  • MotionMix：无监督扩散生成可控运动

    Controllable generation of 3D human motions using MotionMix, a weakly-supervised diffusion model, achieves state-of-the-art performances on text-to-motion, action-to-motion, and music-to-dance tasks.

    Jan, 2024