BAMM: 双向自回归运动模型

Mar, 2024

BAMM: Bidirectional Autoregressive Motion Model

Ekkasit Pinyoanuntapong, Muhammad Usama Saleem, Pu Wang, Minwoo Lee, Srijan Das...

TL;DR提出了一种新的文本到动作生成框架：Bidirectional Autoregressive Motion Model (BAMM)，它由两个关键组件组成：将 3D 人体动作转换为潜在空间中的离散标记的动作分词器和通过混合注意掩蔽策略自回归预测随机屏蔽标记的掩蔽自注意力变换器。通过统一生成掩蔽建模和自回归建模，BAMM 捕捉了动作标记之间丰富而双向的依赖关系，同时学习了从文本输入到动作输出的概率映射，并具有动态调整的动作序列长度。大量在 HumanML3D 和 KIT-ML 数据集上的实验证明，BAMM 在定性和定量指标上均超过了当前最先进的方法。

Abstract

Generating human motion from text has been dominated by denoising motion models either through diffusion or generative masking process. However, these models face great limitations in usability by requiring prior knowledge of the motion length. Conversely, autoregressive motion models address this limitation by adaptively predicting motion endpoints, at the

text-to-motion generation bidirectional autoregressive motion model (bamm)motion tokenizer masked self-attention transformer motion generation

发现论文，激发创造

MMM：生成遮蔽动作模型

基于掩码动作模型的新颖且简单的 MMM 运动生成范例旨在解决实时性、高保真度和动作可编辑性之间的权衡。通过将 3D 人体动作转换成潜空间中的离散标记序列以及根据预计算的文本标记条件预测随机掩码动作标记的条件掩码动画变换器，MMM 明确捕捉动作标记之间的内在依赖性和动作标记与文本标记之间的语义映射，并实现了与细粒度文本描述高度一致的多个动作标记的并行和迭代解码，从而同时实现了高保真度和高速度的动作生成。此外，MMM 具有固有的动作可编辑性，只需在需要编辑的位置放置掩码标记，即可自动填充空白部分并保证编辑和非编辑部分之间的平滑过渡。对 HumanML3D 和 KIT-ML 数据集进行的大量实验表明 MMM 在生成高质量动画方面超过了当前领先的方法（FID 得分分别为 0.08 和 0.429），同时还提供了诸如身体部位修改、动作插值和长动作序列合成等先进的编辑功能。此外，与可编辑动作扩散模型相比，MMM 在单个中档 GPU 上的速度提高了两个数量级。

Dec, 2023

AAMDM: 加速的自回归运动扩散模型

通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

Dec, 2023

双向自回归扩散模型的舞蹈生成

使用双向自回归扩散模型 (BADM) 生成与音乐相协调的舞蹈动作，通过在前后方向均保持协调一致的双向编码器和局部信息解码器，实现了生成新动作、平滑运动、提高舞蹈与节拍的同步性等功能。实验结果表明，该模型在音乐到舞蹈生成的重要基准上达到了最先进的性能。

Feb, 2024

双向时间扩散模型 —— 用于保持时间连续的人物动画

本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

Jul, 2023

基础到高级的分层传播模型实现详细的文本到动作合成

提出了一种基础到高级的分层扩散模型（B2A-HDM），用于协同利用低维和高维扩散模型进行高质量的详细动作合成，其多变量去噪框架和生成潜力的全面探索使其在真实性、模态一致性和多样性方面优于现有的顶尖方法。

Dec, 2023

基于关键帧并行跳跃变换的文本引导下的三维人体动作生成

提出了一种名为 KeyMotion 的方法，通过生成关键帧并进行填充，实现根据输入文本生成逼真的人体运动序列。通过使用具有 Kullback-Leibler 正则化的变分自编码器（VAE）将关键帧投影到潜空间，来减少维度和加速扩散过程。同时，引入了一种新的并行跳过注意力机制的 Transformer，用于实现关键帧潜向量和文本条件之间的跨模态注意力。通过引入文本引导的 Transformer 进行动作填充，确保运动序列的保真度和遵循人体运动的物理约束。实验证明，该方法在 HumanML3D 数据集上达到了最先进的结果，所有 R-Precision 度量和多模态距离指标均优于其他方法。同时，在 KIT 数据集上也获得了有竞争力的性能，在 Top3 R-Precision、FID 和多样性度量指标上取得了最佳结果。

May, 2024

文本控制的运动短蓰：基于文本指导的人体运动时序定位

文本注意动作集成与全局时间信息，在处理传感器数据时，通过 TM-Mamba 模型能够高效地将人类运动与时间对应起来并进行理解。

Apr, 2024

BiHMP-GAN: 双向 3D 人体动作预测 GAN

提出了一种基于概率生成的生成对抗网络模型 (BiHMP-GAN)，它引入了随机因素和双向结构以避免收敛到单一结果，使用递归预测策略进一步规范化训练，可以生成多个人体姿势序列并且在质量评估方面优于之前的方法。

Dec, 2018

优先级中心的离散潜空间人体运动生成

文本到动作生成是一项艰巨的任务，本文介绍一种优先级中心的运动分散扩散模型（M2DM），利用基于 Transformer 的 VQ-VAE 得出简洁的、离散的动作表示，通过全局自注意机制和正则化项来抵消代码坍塌。我们还提出了一种运动离散扩散模型，它采用了一种创新的噪声调度方式，根据整个运动序列中每个动作标记的重要性来确定。该方法在逆扩散过程中保留了最显著的动作，从而产生更丰富多样的语义动作。在 HumanML3D 和 KIT-ML 数据集上进行的综合实验证实了我们的模型在保真度和多样性方面超过了现有技术，尤其对于复杂的文本描述。

Aug, 2023

Motion Mamba: 高效和长序列动作生成与分层和双向选择性 SSM

提出了一种简单高效的运动生成模型，利用了状态空间模型进行建模，并通过分层时序 Mamba (HTM) 块和双向空间 Mamba (BSM) 块来处理时序和姿态信息，从而实现了高质量、长序列的运动生成和实时人体动作生成。

Mar, 2024