ICCVSep, 2021

层次化舞蹈视频识别无监督 3D 姿态估计

PDF
TL;DR提出了一种分层舞蹈视频识别框架 (HDVR)，它通过估计 2D 姿势序列，跟踪舞者，并同时估计相应的 3D 姿势和 3D 到 2D 成像参数来提取舞蹈的层次结构。我们在多人跟踪和通过 LSTM 网络识别舞蹈类型方面优于现有的 3D 姿势估计方法。
hierarchical dance video recognition2d and 3d pose estimationdance genrelstm networkuniversity of illinois dance dataset
发现论文，激发创造
  • 动态环境下的神经形态高频 3D 舞蹈姿态估计

    本文介绍了一种基于事件相机的高频人体姿态估计系统，名为 YeLan，它能够在低光和动态背景下工作，并且在具有挑战性的条件下表现出色，且对于不同类型的衣服，背景运动，观察角度，遮挡和照明波动具有抗干扰性。

    Jan, 2023

  • 现代舞应用中 3D 人体姿势和形状估计方法综述

    使用 RGB 图像进行三维人体形状和姿势估计是一个具有挑战性的问题，具有增强 / 虚拟现实、医疗保健和健身技术以及虚拟零售等潜在应用。本研究调查了并比较了当代舞蹈和表演艺术领域中的三维人体形状和姿势估计方法，重点关注人体姿势和着装、摄像机视角、光照条件和背景条件。我们证明了当舞者进行当代舞蹈表演时，多帧方法（如 PHALP）比单帧方法更能提供更好的姿势估计结果。

    Jan, 2024

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 从在线舞蹈视频中学习

    通过引入 “Let's Dance” 数据集，作者介绍了如何在视频领域应用深度神经网络方法，并探讨了这些方法在学习如何处理动态数据时的价值和性能，特别是在区分需要使用运动信息分类的动态运动大类方面的困难。

    Jan, 2018

  • 无监督对抗学习从 2D 关节点位置得到 3D 人体姿势

    本文提出了一种使用生成对抗网络进行无监督学习的方法，能够从单张图片的 2D 关节点位置预测出 3D 人体姿态，无需使用 3D 数据集，而且即使在训练时缺乏数据，该方法也能很好地预测 3D 姿态。

    Mar, 2018

  • ElePose: 通过预测相机高度并在二维姿态上学习归一化流的无监督三维人体姿态估计

    本文提出一种无监督的方法，通过学习从单张图像预测 3D 人体姿态来解决对于许多人类活动尚不存在标注训练数据的挑战，并且采用正则化流和对 2D 和 3D 姿态进行线性子空间投影来提高性能。

    Dec, 2021

  • 基于层级运动学概率分布的野外图像 3D 人体形状和姿态估计

    通过训练深度神经网络，使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布（即身体姿态）和 SMPL 身体形状参数的高斯分布，实现了对 3D 人体形状和姿态的分布性预测，能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式，从而解释给定的输入图像。

    Oct, 2021

  • 通过神经渲染在静态视频中进行自监督的三维人体姿势估计

    本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染，使神经网络可以对渲染结果进行优化，从而获得了令人满意的结果。

    Oct, 2022

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017