Jul, 2023

无语言语言无关的通过解耦精化方式的组合动作生成

PDF
TL;DR本研究介绍了一种新框架来生成组合动作，该方法不依赖语言辅助，包括三个主要组成部分：动作耦合、条件动作生成和解耦调整。通过利用能量模型提取子动作的注意力掩码，整合两个动作生成伪训练示例。然后使用条件生成模型 CVAE 来学习潜在空间以促进多样化生成。最后引入解耦调整，利用自监督预训练模型 MAE 来确保子动作和组合动作之间的语义一致性。通过创建两个包含子动作和组合动作的新数据集并提出相应的评估指标，进行定性和定量评估以展示我们的有效性。
3d action generationcompositional actionsneural language annotationsconditional generative modelself-supervised pre-trained model
发现论文，激发创造
  • LAC：基于骨骼的动作分割的潜在行动组合

    骨架动作分割需要在未修剪的视频中识别可组合的动作。本文提出了一种名为潜在动作组合（LAC）的自监督框架，通过学习合成的可组合运动，从骨架动作序列中学习视觉表示，在转移学习中表现出色。

    Aug, 2023

  • TEACH：针对 3D 人体的时间动作组合

    利用 BABEL 动作文本集合，设计了一种基于 Transformer 的 TEACH 方法，能够根据自然语言描述生成符合语义的 3D 人体动作，实现由多个动作组成的时间动作构成。

    Sep, 2022

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • 通过将 3D 游戏引擎和概率图模型相结合生成人类动作视频

    本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法，它可以生成一个包含 39,982 个视频的数据集，其中包括 35 个不同的动作类别。通过结合小的真实数据集，我们的方法可以显著提高视频行为识别性能，即使这些数据集的动作类别不同。

    Oct, 2019

  • 家庭行为基因组：合作组合动作理解

    本研究介绍了 Home Action Genome (HOMAGE) 数据集，并使用 Cooperative Compositional Action Understanding (CCAU) 框架进行多个视图和多种数据模态下的动作识别。该方法通过学习组合动作元素以提高 Few-shot Action recognition 的表现。

    May, 2021

  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • 一种视频动作检测的语法组合模型

    基于语法组合模型的行为检测方法可以有效地分析视频中的人类行动，提高模型的解释性和优化效果。

    Oct, 2023

  • 学习潜在的时空组合模型用于人类动作识别

    通过构建表达力强的组合行为模型，模拟视频中动作实例的时空组合，采用弱监督学习算法，识别行为的潜在结构，最终实验结果表明该方法在动作识别方面的表现优于竞争方法。

    Feb, 2015

  • 从文字描述中合成构成动画

    本文针对自然语言描述的运动合成问题，提出了一种基于两级流模型的生成复合动作的技术，利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的 3D 姿态序列，与已有研究相比，实验结果表明我们的模型在客观评价方面进步了 50% 以上，在主观评价方面也得到了很好的实验结果。

    Mar, 2021

  • 基于知识库的解耦合动作识别

    本研究提出了一种使用知识图谱来改善组成动作识别模型对于新动词或新名词的泛化能力的方法，通过提取动词和名词的不可分离特征表示并利用外部知识图谱中的关系来预测分类权重构成动作，并取得了 Charades 数据集上的最佳表现。

    Jul, 2022