May, 2024

基于文本的三维人体动作检索的跨数据库研究

PDF
TL;DR我们提供了一项关于基于文本的三维人体动作检索的研究结果，重点关注跨数据集的泛化问题。通过采用统一的 SMPL 人体格式，我们能够对一个数据集进行训练，对另一个进行测试，或者对多个数据集进行训练。研究结果表明，标准的文本 - 动作基准数据集（如 HumanML3D、KIT Motion-Language 和 BABEL）存在数据集偏差。我们展示了文本增强在一定程度上可以缩小领域差距，但仍存在差距。此外，我们首次提供了使用 BABEL 进行零样本动作识别的结果，而在训练过程中没有使用分类动作标签，开辟了未来研究的新方向。
发现论文，激发创造
  • 文本到运动检索的联合数据集学习和交叉一致性正则化

    本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及 MoT++ 等关键概念，并通过实验证明了提出的方法在 KIT Motion-Language 和 HumanML3D 数据集上的有效性。

    Jul, 2024

  • 通过 MildTriple Loss 实现运动和文本的跨模态检索

    本文提出了一种基于 transformer 和 triplet loss 的 cross-modal retrieval 模型来解决 human motion sequences 和 text 之间的检索问题，并提出了一种新的 MildTriple Loss 来减少 semantic conflicts 的影响，经实验证明，在 HumanML3D 和 KIT Motion-Language 数据集上具有较高的检索召回率。

    May, 2023

  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023

  • 使用对比式 3D 人体动作合成进行文本到动作的检索

    该论文提出了 TMR 方法，利用对比损失结构化跨模态潜在空间，提高文本到 3D 人体运动检索的性能，并在多个数据集上验证了其优越性能，同时也展示了其在时刻检索方面的潜力。

    May, 2023

  • 面向开放领域的多人动作驱动文本合成

    本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

    May, 2024

  • Motion-X：大规模三维表现全身人体运动数据集

    该研究介绍了 Motion-X 数据集及其构建方法，包含全身运动数据、姿态描述、语义标注等，采用高精度、低成本、可扩展的自动化流程进行数据标注，旨在提高生成自然、多样、表达丰富的运动以及进行 3D 人体网格恢复的能力。

    Jul, 2023

  • KIT 运动语言数据集

    本研究提出了 KIT 运动 - 语言数据集，该数据集包括来自多个动作捕捉数据库的数据，并使用统一的表示法聚合，以获得自然语言的动作注释，通过困惑度选择和众包方法进行注释。该数据集包含 3911 个运动，6278 个自然语言注释，使人类运动和自然语言之间的语义表示研究变得更加透明和可比较。

    Jul, 2016

  • TAAT：从任意文本思考和行动的 Text2Motion

    Text2Motion 旨在从文本中生成人体动作。本文重新定义了此问题，以更现实的假设为基础，即文本可以是任意的。通过在 HumanML3D 数据集上扩展动作文本以涵盖更多场景文本，创建了 HumanML3D++ 数据集。在这个挑战性的数据集中，我们提出了一个新颖的两阶段框架来从任意文本中提取动作标签并生成动作。通过不同的应用场景进行广泛实验证明了该方法在现有和提出的数据集上的有效性。结果表明，在这个现实的设置中，Text2Motion 是非常具有挑战性的，为这个实际方向的新研究提供了动力。我们将发布数据集和代码。

    Apr, 2024

  • BABEL: 带英文标签的身体、行动和行为

    BABEL 是一个大型数据集，包含 43 小时的 MOCAP 序列，从 AMAAS 中提供了关于动作的语言标签，该数据集可用于行动识别、时间行动定位、运动合成等任务，并可作为 3D 行动识别的有用基准测试，数据集、基准方法和评估代码可供学术研究使用。

    Jun, 2021

  • AI 运动编辑和风格化实际应用的动作捕捉数据集

    提出了一个新的风格多样的运动数据集，用于运动风格转移任务的有效性进行了综合研究，使用了工业标准的人类骨骼结构，释放该数据集以鼓励未来在此领域开展更多的研究。

    Jun, 2023