Aug, 2023

基于分块骨架的统一遮蔽自编码器用于动作合成

PDF
TL;DRUNIMASK-M 模型是一种任务独立模型，有效地解决了预测未来动作、填充已知关键动作之间的中间姿势等挑战，通过将人体姿势分解为身体部位并利用存在于人体运动中的时空关系，将各种面向姿势的运动综合任务重新定义为使用不同屏蔽模式的重构问题。实验结果表明，该模型在 Human3.6M 数据集上成功预测了人体运动，并在 LaFAN1 数据集上实现了时长较长的过渡期内的运动插值的最新成果。
human motion synthesisunimask-mtask-independent modelpose-conditioned motion synthesisspatio-temporal relationships
发现论文，激发创造
  • 使用面具作为监督：利用统一的面具信息进行无监督的 3D 姿势估计

    通过利用掩膜监督进行无监督三维姿势估计，本文提出了一个统一框架，该框架利用从粗到精的骨架和人体表示，从而实现了对无标注数据的处理和可直接使用的估计结果。实验证明了我们在 Human3.6M 和 MPI-INF-3DHP 数据集上的最新姿势估计性能，并通过在野外数据集上的进一步实验说明了模型具有获取更多数据以提升性能的能力。

    Dec, 2023

  • 面具化运动预测器是强大的三维动作表示学习器

    本文提出了一种用于 3D 动作识别的 Masked Motion Prediction（MAMP）框架，通过对蒙面的空间 - 时间骨骼序列进行预测，实现对丰富语义区域的更好关注，进而提高自监督预训练的性能。经过对 NTU-60、NTU-120 和 PKU-MMD 数据集的广泛实验，表明所提出的 MAMP 预训练方法显著提高了基础的 transformer 模型的性能，并取得了最先进的结果。MAMP 的源代码可以在给定的网址上找到。

    Aug, 2023

  • HumanMAC: 用于人体动作预测的遮挡运动补全技术

    本文提出了一种基于去噪扩散的新框架，通过训练一个运动扩散模型来生成运动，然后通过去噪过程实现在观察到的运动条件下进行运动预测，并在现实任务中有效地实现了不同类别运动的切换，取得了良好的算法性能和结果。

    Feb, 2023

  • MoMask: 生成式遮蔽建模 3D 人体动作

    MoMask 是一种新颖的掩码建模框架，用于文本驱动的 3D 人体动作生成，通过分层量化方案将人体动作表示为多层离散动作令牌，并使用两个不同的双向转换器进行预测和填补，实验证明在文本到动作生成任务中，MoMask 在 HumanML3D 数据集上的 FID 为 0.045（相较于 T2M-GPT 的 0.141）以及在 KIT-ML 上的 FID 为 0.228（相较于 0.514），同时可以无缝应用于文本引导的时间修补等相关任务。

    Nov, 2023

  • 使用运动块探索 Vision Transformers 用于 3D 人体动作语言模型

    构建 3D 人体动作与语言之间的跨模态潜空间对于获取大规模高质量的人体动作数据至关重要，然而，与图像数据的丰富相比，动作数据的稀缺限制了现有动作语言模型的性能，为了解决这个问题，我们介绍了 “动作补丁” 的新表示方法，并通过迁移学习，提出使用视觉变换器（ViT）作为动作编码器，旨在从图像域中提取有用的知识并应用于动作域，我们发现通过使用训练 2D 图像数据获得的 ViT 的预训练权重进行迁移学习可以提高动作分析的性能，为解决有限动作数据的问题提供了一个有希望的方向，我们广泛的实验证明了所提出的动作补丁与 ViT 的联合使用在文本到动作检索以及其他新颖的具有挑战性的任务中取得了最先进的性能，例如跨骨架识别、零样本动作分类和人体交互识别，这些任务目前由于数据缺乏而受到限制。

    May, 2024

  • MPM: 通过遮罩姿态建模实现统一的二维 - 三维人体姿态表示

    本文提出了一种通过掩蔽姿态建模实现统一的 2D-3D 人体姿态表示框架 MPM，该框架通过使用单流的基于 Transformer 的人类姿势表示和三个预训练任务，能够在一个单一框架中处理包括 3D 人体姿态估计、来自遮挡 2D 姿势的 3D 姿势估计和 3D 姿势完成。研究者在几个广泛使用的人体姿势数据集上进行了广泛的实验和消融研究，并在 Human3.6M 和 MPI-INF-3DHP 上实现了最先进的性能。

    Jun, 2023

  • 通过掩蔽运动建模的激发对比：走向多功能的 3D 动作表示学习

    我们提出了 Prompted Contrast with Masked Motion Modeling (PCM3) 方法，通过互惠方式集成了对比学习和遮挡预测任务，极大地提高了在不同下游任务中的泛化能力。通过减少学习两个不同训练任务造成的干扰，并通过掩模预测为对比学习提供了新视角，指导了高级语义信息的预测训练。与现有的工作相比，在三个大规模数据集上进行了大量实验证明了 PCM3 方法的卓越泛化能力。

    Aug, 2023

  • MMM：生成遮蔽动作模型

    基于掩码动作模型的新颖且简单的 MMM 运动生成范例旨在解决实时性、高保真度和动作可编辑性之间的权衡。通过将 3D 人体动作转换成潜空间中的离散标记序列以及根据预计算的文本标记条件预测随机掩码动作标记的条件掩码动画变换器，MMM 明确捕捉动作标记之间的内在依赖性和动作标记与文本标记之间的语义映射，并实现了与细粒度文本描述高度一致的多个动作标记的并行和迭代解码，从而同时实现了高保真度和高速度的动作生成。此外，MMM 具有固有的动作可编辑性，只需在需要编辑的位置放置掩码标记，即可自动填充空白部分并保证编辑和非编辑部分之间的平滑过渡。对 HumanML3D 和 KIT-ML 数据集进行的大量实验表明 MMM 在生成高质量动画方面超过了当前领先的方法（FID 得分分别为 0.08 和 0.429），同时还提供了诸如身体部位修改、动作插值和长动作序列合成等先进的编辑功能。此外，与可编辑动作扩散模型相比，MMM 在单个中档 GPU 上的速度提高了两个数量级。

    Dec, 2023

  • UniMASK: 顺序决策问题中的统一推理

    本研究介绍了一种名为 UniMASK 的框架，利用序列掩蔽的方式，提供了一种统一的方式来指定可以用于多种不同序列决策任务的模型。经过微调后，我们的 UniMASK 模型能够在许多任务上表现非常好，甚至比单任务模型表现更好。

    Nov, 2022

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020