Dec, 2023

MotionScript: 自然语言描述表达性 3D 人类动作

PDF
TL;DR该论文提出了 MotionScript，一种用于人体动作到文本转换的算法和自然语言表达。MotionScript 旨在比以前的自然语言方法更详细和准确地描述动作。通过将 MotionScript 表示应用于文本到动作的神经任务中，可以更准确地重构身体动作，并且可以使用大型语言模型生成看不到的复杂动作。
发现论文，激发创造
  • 从文本描述中生成三维场景的人类动作

    通过将任务分解为两个可管理的子问题：目标对象的语言准确性和以目标对象为中心的运动生成，本文提出了一种新的方法来生成给定人 - 场景交互文本描述的 3D 室内场景中的人体动作，实验表明我们的方法在运动质量方面优于基线并验证了我们的设计选择。

    May, 2024

  • 从自然语言生成三维人体姿态的 PoseScript

    本文提出了 PoseScript 数据集，该数据集对 AMASS 的几千个 3D 人体姿势与丰富的人体注释描述进行了配对。我们提出了一种详细的字幕生成过程，通过一组简单但通用的规则从给定的 3D 关键点提取低级姿势信息 —— 姿势码，然后使用句法规则将姿势码组合成更高级别的文本描述。自动注释大大增加了可用数据量，并使得在人类字幕微调预训练的深度模型上变得可能。

    Oct, 2022

  • 从文字描述中合成构成动画

    本文针对自然语言描述的运动合成问题，提出了一种基于两级流模型的生成复合动作的技术，利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的 3D 姿态序列，与已有研究相比，实验结果表明我们的模型在客观评价方面进步了 50% 以上，在主观评价方面也得到了很好的实验结果。

    Mar, 2021

  • 从细粒度文本描述生成运动

    建立一个大规模的细粒度文本 - 运动数据集 FineHumanML3D，并设计一种新的文本生成运动模型 FineMotionDiffuse，以更好地生成空间 / 时间上的综合动作。

    Mar, 2024

  • FreeMotion：多模态大型语言模型的无动捕人体动作合成

    通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

    Jun, 2024

  • Language2Pose: 自然语言基础姿态预测

    本文提出了一种名为 JL2P 的神经架构，采用课程学习方法来解决如何将语言概念映射到动作动画的核心建模挑战，并在公开语料库上进行了测试，表明我们的方法能够生成更准确的动画。

    Jul, 2019

  • 使用深度循环神经网络学习人体全身运动与自然语言之间的双向映射

    该研究提出了一种使用深度循环神经网络和序列到序列学习学习人体全身运动和自然语言之间双向映射的生成模型，该模型不需要分割或手动特征工程，并学习分布式表示，其结构可以生成逼真的动作或描述.

    May, 2017

  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023

  • 从动词描述中生成运动事件的模拟

    本研究使用计算建模的方法将自然语言中的运动事件转化为三维的时间模拟，以统计和检测不同的键值与其相应的物理运动表现是否始终一致。

    Oct, 2016

  • KIT 运动语言数据集

    本研究提出了 KIT 运动 - 语言数据集，该数据集包括来自多个动作捕捉数据库的数据，并使用统一的表示法聚合，以获得自然语言的动作注释，通过困惑度选择和众包方法进行注释。该数据集包含 3911 个运动，6278 个自然语言注释，使人类运动和自然语言之间的语义表示研究变得更加透明和可比较。

    Jul, 2016