ICCVOct, 2019

结构化预测有助于 3D 人体动作建模

PDF
TL;DR该论文提出了一个新的结构化预测层的方法，该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性，并可以增强运动预测的性能和预测质量，而不受基础网络、关节角度表示和预测时间长度的限制，并在 AMASS 数据集上训练和测试后取得了良好的效果。
human motion predictionstructured prediction layerneural networksamass datasetmotion forecasting
发现论文，激发创造
  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 使用深度神经网络进行 3D 人体姿态结构预测

    本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法，该方法借助于过度完备的自动编码器并考虑关节从属关系，优于现有技术，包括结构保留和预测准确性两方面。

    May, 2016

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 基于本地结构表示和时间依赖性学习的人体运动预测

    本文提出了一种基于局部身体结构表征的人体运动长期和短期预测方法 (SkelNet 和 Skel-TNet)，实验证明这两种方法对于多种人体运动任务（Human3.6M 数据集和 CMU 运动捕捉数据集）有相当好的预测效果。

    Feb, 2019

  • 带骨骼姿态分解的考虑解剖学的三维人体姿态估计

    本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中，作者从人类骨骼解剖学中获得灵感，将任务分解为骨方向预测和骨长度预测两个子任务，以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失，用于预测不同骨头的方向，有效地提高了模型性能。最后，作者引入了隐式关注机制，将 2D 关键点可见性分数作为额外指导加入模型，显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估，证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。

    Feb, 2020

  • 深度表示学习用于人类动作预测和分类

    本研究提出一个基于深度学习的人体动作捕捉数据的通用模型，学习自大量的捕捉数据中，并成功应用于人体动作特征提取、分类和预测，优于现有最新技术，具有普遍性。

    Feb, 2017

  • 人体运动预测的多层动作注意力

    介绍了一种基于注意力机制的前馈神经网络，利用运动的重复性和历史上下文进行运动预测，通过图卷积网络对历史数据的运动模式进行有效利用，取得了三个数据集上最先进的结果。

    Jun, 2021

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 辅助任务对基于 3D 骨架的人体运动预测的影响

    通过引入辅助任务的模型学习框架，本文提出了一种新的方向，即通过捕捉时空依赖关系以实现坐标恢复，以及通过辅助任务促使辅助自适应变压器更好地学习特征，并通过实验证明了该方法的优越性。

    Aug, 2023