Oct, 2021

基于对抗生成图卷积网络的人类动作合成

PDF
TL;DR本文提出一种名为 Kinetic-GAN 的生成对抗网络结构，利用生成对抗网络和图卷积网络综合分析人体动力学的时空动态，可以在本地和整体身体运动中对多达 120 个不同动作进行调整，从而提高样本质量和多样性，并通过潜在空间解缠和随机变化，能够合成大量的不同动作序列，超越了已有的方法。
发现论文，激发创造
  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • HP-GAN：通过 GAN 实现的概率三维人体动作预测

    本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法，用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务；该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练，并进行了多种动作类型和数据集的测试，其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。

    Nov, 2017

  • 使用具有类别感知鉴别器的基于 GAN 的交互式动作合成模型用于人际交互

    该论文提出了一个半监督 GAN 系统，用于合成一个角色的反应动作，给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督，证明了该系统的有效性和鉴别性。

    Oct, 2021

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 学习跳舞：一种图卷积对抗网络，从音频中生成逼真的舞蹈动作

    本文利用基于图形卷积网络的新方法，通过学习技术从音频信息中自动生成舞蹈，结果显示这种方法在产生自然运动方面优于现有方法。

    Nov, 2020

  • DD-GCN: 基于有向扩散图卷积网络的基于骨骼的人体行为识别

    构建了指向性扩散图进行动作建模，引入了活动分割策略以优化图卷积核的权重共享机制，提出了时空同步编码器用于嵌入同步时空语义，并通过在三个公共数据集上的实验验证了我们方法的最先进性能。

    Aug, 2023

  • 使用 DVGAN 进行人体动作建模

    本研究使用生成对抗网络（GANs）提出一种新颖的人体运动建模生成模型，通过每个时间尺度的密集验证和扰动鉴别器输入来实现运动生成与完成，并在 Human 3.6M 和 CMU 运动捕捉数据集上进行了评估。

    Apr, 2018

  • 基于部分特征的图卷积神经网络用于动作识别

    本文提出了一种基于部件图卷积网络的人体动作识别模型，该模型将骨骼图分为四个子图，并使用相对坐标和时间位移代替 3D 关节点特征，相对于使用整个骨骼图的模型，能够提高识别性能，实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼动作识别的最先进水平。

    Sep, 2018

  • 高效组合人体运动预测的动态组合图卷积网络

    通过提出一种综合人体动作预测任务的方法，使用图卷积网络 (GCN) 来生成合成动作并减少对复杂模型的需求，实现了高准确性的人体动作预测，同时减少计算成本。

    Nov, 2023

  • 从合成数据中学习人体姿势模型以实现鲁棒的 RGB-D 动作识别

    我们提出了一种人体姿态模型，可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的 RGB 和深度图像。通过开发一个综合训练数据的框架，我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中，我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。

    Jul, 2017