ICCVAug, 2023

辅助任务对基于 3D 骨架的人体运动预测的影响

PDF
TL;DR通过引入辅助任务的模型学习框架，本文提出了一种新的方向，即通过捕捉时空依赖关系以实现坐标恢复，以及通过辅助任务促使辅助自适应变压器更好地学习特征，并通过实验证明了该方法的优越性。
spatial-temporal dependencieshuman motion predictionauxiliary tasksauxiliary-adapted transformercoordinate recovery
发现论文，激发创造
  • 自适应人体姿势预测的元辅助学习

    提出了一种测试相适应的深度学习框架，它结合了自监督辅助任务和元辅助学习来帮助主要预测网络适应测试序列，该方法在预测人类姿势方面取得了更高的准确性。

    Apr, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • 记住重要的事情：基于分解多头检索和辅助记忆稳定方案的人体运动预测

    本文提出了一种用于预测未来动作的深度神经网络框架，其中使用辅助记忆动态地导出主体特定的、任务特定的和其他辅助信息，并提出一个多头知识检索机制，以允许进行多个查询操作以促进将来动作的长期预测。在 Human3.6M 和 CMU-Mocap 两个公共基准测试中，我们证明了这些设计选择允许所提出的方法以显着优于当前最先进方法的较大优势进行操作。

    May, 2023

  • 结构化预测有助于 3D 人体动作建模

    该论文提出了一个新的结构化预测层的方法，该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性，并可以增强运动预测的性能和预测质量，而不受基础网络、关节角度表示和预测时间长度的限制，并在 AMASS 数据集上训练和测试后取得了良好的效果。

    Oct, 2019

  • 基于时空修补的人体运动预测

    本文在三个主要方面提出了改进：（1）使用生成对抗网络（GAN）预测 3D 人体动作，（2）设计架构来学习身体姿势和全局动作的联合分布，（3）提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布，结果表明本文方法显著改善了现有技术，同时能够处理受到遮挡、噪声和丢失帧等影响的情况。

    Dec, 2018

  • 无监督骨骼动作学习的全局 - 局部运动转换器

    本论文提出了一种新的 transformer 模型，旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制，通过新的预训练策略，成功地学习了局部和全局的内容，并在测试中显示出了优异的性能。

    Jul, 2022

  • 多人动作预测的联合关系变换器

    我们提出了关节 - 关系转换器，利用关系信息来增强交互建模和提高未来运动预测的准确性。

    Aug, 2023

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019