Mar, 2024

ParCo: 部分协调的文本到动作综合

PDF
TL;DR我们提出了 Part-Coordinating Text-to-Motion Synthesis (ParCo) 方法，它通过增强的能力来理解部分运动和不同部分运动生成器之间的通信，确保协调和细粒度的运动合成。我们的方法在 HumanML3D 和 KIT-ML 等常见基准测试上展示了优越的性能，具有经济计算的优点。
text-to-motion synthesispart-based methodscoordinated movementspart conceptsmotion synthesis
发现论文，激发创造
  • 多模态多部分人体动作综合的统一框架

    通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。

    Nov, 2023

  • 从细粒度文本描述生成运动

    建立一个大规模的细粒度文本 - 运动数据集 FineHumanML3D，并设计一种新的文本生成运动模型 FineMotionDiffuse，以更好地生成空间 / 时间上的综合动作。

    Mar, 2024

  • 面向开放领域的多人动作驱动文本合成

    本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

    May, 2024

  • 文本到运动检索的联合数据集学习和交叉一致性正则化

    本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及 MoT++ 等关键概念，并通过实验证明了提出的方法在 KIT Motion-Language 和 HumanML3D 数据集上的有效性。

    Jul, 2024

  • 基于文本的人体运动生成与多视角关注机制

    基于文本描述生成的 3D 人体动作一直以来都是一个研究焦点，本文提出了使用多角度注意机制的两阶段方法，即基于人体局部和整体的运动注意以及运动和文本跨模态的全局局部注意机制，通过生成变压器实现文本驱动的运动生成，在 HumanML3D 和 KIT-ML 上的实验证明了我们方法在定性和定量评估方面优于现有的技术，并实现了精细合成和动作生成。

    Sep, 2023

  • 通过一致的采样使用扩散模型合成长期人类运动

    我们提出了一种新方法，利用过去条件扩散模型和两种可选的相干采样方法：过去修复采样和组合过渡采样，实现由用户指导的长文本流控制的组合和连贯的长期三维人体动作生成。

    Aug, 2023

  • 通过语言引导的姿态代码编辑实现可控动作生成

    CoMo 是一种可控运动生成模型，通过利用大型语言模型的先验知识，在准确生成和编辑动作方面表现出色。它将动作分解为离散且语义上有意义的姿势代码，每个代码都包含身体部位的语义信息，如 “左膝稍微弯曲”。通过调整姿势代码，CoMo 可以实现直接干预动作编辑。实验证明，与最先进的模型相比，CoMo 在运动生成方面具有竞争力，在人体研究中，CoMo 在动作编辑能力方面远远超过以前的工作。

    Mar, 2024

  • 计划、姿势与前行：走向开放世界的文本转动作生成

    该研究提出了名为 PRO-Motion 的拆分与解决框架，由运动规划器、姿势扩散器和动作扩散器三个模块组成，通过指示大型语言模型生成描述目标动作关键姿势的脚本序列，转化为真实的运动，从而实现了从复杂的开放世界提示生成多样且逼真的运动。

    Dec, 2023

  • 朝着变量和协调的整体语音运动生成

    通过 ProbTalk 的统一概率框架，以综合协调性和可变性为核心，生成自然多样的整体语音运动，从而比现有方法在质量和数量上都实现了更高的真实度。

    Mar, 2024

  • FreeMotion: 文本到动作综合的统一框架

    该研究论文提出了一种文本到动作合成的方法，通过条件动作分布实现了单人和多人动作的统一，通过生成模块和交互模块实现了无需限定人数的动作合成，并且能够准确控制多人动作。实验证明了该方法在单人和多人动作预测上的优越性。

    May, 2024