May, 2024

基于文本的三维人体动作检索的跨数据库研究

HTML
PDF
TL;DR我们提供了一项关于基于文本的三维人体动作检索的研究结果，重点关注跨数据集的泛化问题。通过采用统一的SMPL人体格式，我们能够对一个数据集进行训练，对另一个进行测试，或者对多个数据集进行训练。研究结果表明，标准的文本-动作基准数据集（如HumanML3D、KIT Motion-Language和BABEL）存在数据集偏差。我们展示了文本增强在一定程度上可以缩小领域差距，但仍存在差距。此外，我们首次提供了使用BABEL进行零样本动作识别的结果，而在训练过程中没有使用分类动作标签，开辟了未来研究的新方向。
发现论文，激发创造
  • BABEL: 带英文标签的身体、行动和行为

    BABEL是一个大型数据集，包含43小时的MOCAP序列，从AMAAS中提供了关于动作的语言标签，该数据集可用于行动识别、时间行动定位、运动合成等任务，并可作为3D行动识别的有用基准测试，数据集、基准方法和评估代码可供学术研究使用。

    Jun, 2021

  • TM2T: 随机和分词建模用于生成3D人体动作和文本的互相作用

    本文探讨了从文本生成3D全身运动的问题，并提出了运动令牌的使用方法，结合神经机器翻译模型进行任务的处理，通过实验数据对比，表明我们的方法在这两个任务上具有优越性。

    Jul, 2022

  • 使用对比式 3D 人体动作合成进行文本到动作的检索

    该论文提出了TMR方法，利用对比损失结构化跨模态潜在空间，提高文本到3D人体运动检索的性能，并在多个数据集上验证了其优越性能，同时也展示了其在时刻检索方面的潜力。

    May, 2023

  • 通过MildTriple Loss实现运动和文本的跨模态检索

    本文提出了一种基于transformer和triplet loss的cross-modal retrieval模型来解决human motion sequences和text之间的检索问题，并提出了一种新的MildTriple Loss来减少semantic conflicts的影响，经实验证明，在HumanML3D和KIT Motion-Language数据集上具有较高的检索召回率。

    May, 2023

  • 文本到动作检索：走向人体运动数据和自然语言的联合理解

    本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的Motion Transformer模型，对大量3D骨骼序列进行内容检索，实现了相应的定量度量评估。

    May, 2023

  • Motion-X：大规模三维表现全身人体运动数据集

    该研究介绍了 Motion-X 数据集及其构建方法，包含全身运动数据、姿态描述、语义标注等，采用高精度、低成本、可扩展的自动化流程进行数据标注，旨在提高生成自然、多样、表达丰富的运动以及进行3D人体网格恢复的能力。

    Jul, 2023

  • 使用运动块探索 Vision Transformers 用于 3D 人体动作语言模型

    构建3D人体动作与语言之间的跨模态潜空间对于获取大规模高质量的人体动作数据至关重要，然而，与图像数据的丰富相比，动作数据的稀缺限制了现有动作语言模型的性能，为了解决这个问题，我们介绍了“动作补丁”的新表示方法，并通过迁移学习，提出使用视觉变换器（ViT）作为动作编码器，旨在从图像域中提取有用的知识并应用于动作域，我们发现通过使用训练2D图像数据获得的ViT的预训练权重进行迁移学习可以提高动作分析的性能，为解决有限动作数据的问题提供了一个有希望的方向，我们广泛的实验证明了所提出的动作补丁与ViT的联合使用在文本到动作检索以及其他新颖的具有挑战性的任务中取得了最先进的性能，例如跨骨架识别、零样本动作分类和人体交互识别，这些任务目前由于数据缺乏而受到限制。

    May, 2024

  • 文本到运动检索的联合数据集学习和交叉一致性正则化

    本文研究了运动姿势估计方法、文本与运动之间的检索任务、多数据集联合训练、交叉一致对比损失以及MoT++等关键概念，并通过实验证明了提出的方法在KIT Motion-Language和HumanML3D数据集上的有效性。

    Jul, 2024

  • MotionFix：基于文本的3D人类动作编辑

    本研究解决了3D动作编辑中的数据不足和源动作忠实编辑模型设计的问题。通过建立一种方法论，半自动收集新的MotionFix数据集，利用条件扩散模型TMED实现基于文本的动作编辑。结果表明，模型在三元组数据上训练的性能优于仅基于文本和动作配对的数据，为精准动作生成的进一步研究奠定了基础。

    Aug, 2024

  • MotionBank：一种具有解耦规则注释的大规模视频运动基准

    本研究解决了如何构建和基准化大规模运动模型（LMM）的问题。通过整合13个视频动作数据集，创建了MotionBank，包括124万条运动序列，提供了丰富的自然人类运动数据，改进了运动与文本的对齐，显著推动了人类运动生成及理解相关任务的发展。

    Oct, 2024