MMAug, 2023

带有原子动作的语言引导的人体运动合成

PDF
TL;DRATOM 通过将动作分解为原子动作，并采用课程学习策略来组合原子动作，从而更好地适应新动作。同时引入了渐进式的蒙版运动建模的课程学习训练策略，有效缓解了过拟合问题，并提高了运动表示的学习质量。通过广泛的实验，包括文本到运动和动作到运动合成任务，证明了 ATOM 的有效性，并展示了它在合成可行和连贯的文本指导人体动作序列方面的优势。
language-guided human motion synthesisatomatomic actionscurriculum learningtext-to-motion synthesis
发现论文，激发创造
  • TEACH：针对 3D 人体的时间动作组合

    利用 BABEL 动作文本集合，设计了一种基于 Transformer 的 TEACH 方法，能够根据自然语言描述生成符合语义的 3D 人体动作，实现由多个动作组成的时间动作构成。

    Sep, 2022

  • FreeMotion：多模态大型语言模型的无动捕人体动作合成

    通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

    Jun, 2024

  • 从文字描述中合成构成动画

    本文针对自然语言描述的运动合成问题，提出了一种基于两级流模型的生成复合动作的技术，利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的 3D 姿态序列，与已有研究相比，实验结果表明我们的模型在客观评价方面进步了 50% 以上，在主观评价方面也得到了很好的实验结果。

    Mar, 2021

  • 随心所欲：具有层次语义图的运动扩散模型细粒度控制

    提出了一种利用分层语义图实现对人体运动生成的细粒度控制的方法，通过将运动描述分解成三个层次的语义图，从整体到局部的结构帮助全面理解运动描述和对运动生成进行细粒度控制，并对分解的文本到运动扩散过程进行了优化，通过修改分层语义图的边权重，实现了生成运动的持续细化，具有超过基准数据集 HumanML3D 和 KIT 的优越性能。

    Nov, 2023

  • 基于层级原子动作的细粒度视频弱监督时序动作检测

    本文提出一种弱监督的方法来检测细粒度视频动作，通过自我监督聚类获取可重复和自动发现的原子动作集合，并结合语义标签层次将原子动作映射到细粒度和粗粒度行动标签，最终构建了四个层次的视频可视化表示层次，在两个大型数据集上实验表明该方法在细粒度动作检测方面取得了最优性能。

    Jul, 2022

  • 多模态多部分人体动作综合的统一框架

    通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。

    Nov, 2023

  • GlocalNet：基于类别感知的长期人体运动合成

    本文旨在解决人体运动合成方面存在的挑战，提出了一种两阶段活动生成方法，通过学习合成稀疏的运动轨迹和生成密集的运动轨迹来实现长期人体运动轨迹的合成，并通过多种量化评估指标证明该方法优于 SOTA 方法。

    Dec, 2020

  • 面向多样化和自然的场景感知 3D 人体运动合成

    本文针对现有智能场景下的动作合成技术存在的目标、位置预定及动作多样性不足等问题，提出了一种基于多样性因素的分层框架方法，以提高人类动作合成的自然度与多样性。实验表明，该框架在场景感知的人类动作合成中具有很好的效果。

    May, 2022

  • 基于目标运动引导的人类运动合成

    通过将物体运动作为条件，我们提出了一种能够从物体运动中生成全身操作行为的条件扩散框架（OMOMO），该框架学习两个独立的去噪过程，首先从物体运动中预测手的位置，然后基于预测的手位置合成全身姿势，从而显式地强制执行接触约束，从而产生更加真实可信的操作动作。

    Sep, 2023

  • AMD：解剖运动扩散与可解释运动分解与融合

    通过利用大型语言模型解析输入的文本为与目标动作相对应的简明易懂的解剖脚本序列，本文提出了适应性运动扩散 (AMD) 模型，以解决现有方法难以处理复杂或长动作描述的问题。通过制定平衡输入文本和解剖脚本对逆扩散过程影响的两支融合方案，本方法能够自适应地确保合成动作的语义保真度和多样性。在包含较为复杂动作的数据集（例如 CLCD1 和 CLCD2）上的实验证明，我们的 AMD 显著优于现有的最先进模型。

    Dec, 2023