Apr, 2023

TAPE：基于时间注意力的概率人体姿态和形状估计

PDF
TL;DR该研究提出了一种基于时间注意力的概率人体姿势和形状估计方法（TAPE），通过对一段视频进行编码并使用概率分布输出估计的人体姿势，相比于其他方法在标准基准测试中表现更好。
3d reconstructionmonocular videoshuman pose estimationprobabilistic modeltemporal attention
发现论文，激发创造
  • 捕捉运动中的人类：从单目视频中估计时间关注的三维人体姿态和形状

    该研究提出了一种运动姿势和形状网络（MPS-Net）来有效地捕捉视频中的运动并从中估计准确的和时间连续的三维人体姿态和形状。MPS-Net 利用运动连续性注意力（MoCA）模块和分层注意特征融合（HAFI）模块以提高运动姿势的精度并使用更少的网络参数。

    Mar, 2022

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020

  • 基于时间感知的视频人体姿态与形状恢复的改进

    通过提出一个 Temporal-Aware Refining Network (TAR)，本文探索了对于精确的姿势和形状恢复而言的全局和局部图像特征的时间感知，实现了比现有方法更准确的结果。

    Nov, 2023

  • 增强时空上下文：单目视频中具有时态一致性的稳健 3D 人体动作恢复

    提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 使用具有显式遮挡训练的时空网络进行 3D 人体姿势估计

    借助多尺度空间特征和多步幅时间卷积网络，在设计 A 的基础上，B 通过在训练过程中模拟各种遮挡情况来提高露出度鲁棒性，并利用 2D 视频数据注入半监督学习能力。实验证实了该方法的有效性，并且消融研究表明我们网络的单个子模块的优势。

    Apr, 2020

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022

  • TEMP3D: 出现遮挡的连续时间 3D 人体姿势估计

    在具有重度遮挡的视频序列中，通过使用人体运动先验、大规模预训练的三维姿势和自监督学习，借助于时间连续性的潜力，提高给定视频序列中的三维姿势估计，从而在包含遮挡的自然环境视频中得到连续的三维姿势估计。

    Dec, 2023