Dec, 2018

基于时空修补的人体运动预测

PDF
TL;DR本文在三个主要方面提出了改进：（1）使用生成对抗网络（GAN）预测 3D 人体动作，（2）设计架构来学习身体姿势和全局动作的联合分布，（3）提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布，结果表明本文方法显著改善了现有技术，同时能够处理受到遮挡、噪声和丢失帧等影响的情况。
generative adversarial network3d human motionlong-term predictionspatio-temporal tensoralternative metrics
发现论文，激发创造
  • HP-GAN：通过 GAN 实现的概率三维人体动作预测

    本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法，用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务；该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练，并进行了多种动作类型和数据集的测试，其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。

    Nov, 2017

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 集成多个 GAN 的控制性 3D 人体运动预测

    本文提出了一种基于控制参数的人体运动预测任务形式，使用复合 GAN 结构，包括不同身体部位的局部 GAN 和通过全局 GAN 聚合的，以便进行跨活动类型的可操作运动预测，本方法优于现有的最先进方法。

    Mar, 2021

  • 逐步生成更好的初始猜测以实现高质量的人体运动预测

    介绍了一种基于多级设计的人体运动预测方法，结合了空间和时间两个因素，通过两个网络，以预测一个好的猜测值为基础，有效提高了预测的精度。该方法在多项实验数据中胜出并实现了超过前人方法 6-16% 的提升。

    Mar, 2022

  • Skeleton-Graph: 使用深度时空图卷积神经网络从 2D 观测中进行长期 3D 运动预测

    本篇论文提出了 Skeleton-Graph 模型，采用深度时空图卷积神经网络来预测 2D 姿态下未来的 3D 骨架姿态，通过图形式地建立骨骼关节之间的空间关系以解决长期姿态预测过程中的分歧问题，并引入了新的评估指标来衡量长期预测分歧程度，实验证明 Skeleton-Graph 模型在 GTA-IM 和 PROX 数据集上均比之前的模型取得了更好的预测效果。

    Sep, 2021

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019

  • 使用 DVGAN 进行人体动作建模

    本研究使用生成对抗网络（GANs）提出一种新颖的人体运动建模生成模型，通过每个时间尺度的密集验证和扰动鉴别器输入来实现运动生成与完成，并在 Human 3.6M 和 CMU 运动捕捉数据集上进行了评估。

    Apr, 2018

  • 基于长时程建模的人体运动时空流形学习

    本研究提出了一种基于深度学习的数据驱动建模方法，利用自然运动流形来处理人类运动中存在的多模态时空相关性及骨骼信息提取问题，并在多个应用场景中获得了优异的结果。

    Aug, 2019

  • 基于 3D 约束和细节增强的人体动作迁移

    使用生成对抗网络，将源角色的动作转移到目标角色上，并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合，利用重建的三维人体模型作为 GAN 的条件，进一步引入细节增强网络以增强转移结果的细节信息。实验表明，该方法在质量和数量上均优于现有技术。

    Mar, 2020

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020