ICCVSep, 2023

TEMPO: 高效的多视角姿势估计、跟踪和预测

PDF
TL;DRTEMPO 是一种高效的多视角姿势估计模型，通过学习稳健的时空表示，提高了姿势准确性，同时还能跟踪和预测人体姿势。该模型通过循环计算个人的二维姿势特征，将空间和时间信息融合成一种表示，并利用时空上下文预测更准确的人体姿势，同时保持高效性。该模型能够跨数据集泛化而无需场景特定微调，达到了相比 TesseTrack 在具有挑战性的 CMU Panoptic Studio 数据集上 MPJPE 提升 10%，帧率提升 33 倍的效果。
发现论文，激发创造
  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • MetaPose: 无需 3D 监督，快速从多视图中获得 3D 姿态

    本文介绍如何使用神经网络模型进行多摄像头人体姿势估计，在考虑多角度遮挡及联合位置不确定性情况下，使用 2D 关键点数据进行训练。相比于经典捆绑调整与弱监督单目 3D 基线方法，我们的模型在 Human3.6M 和 Ski-Pose PTZ 数据集上表现更好。

    Aug, 2021

  • 用于遮挡人物的三维人体姿态估计和定位的时间平滑技术

    本文介绍了一种基于能量最小化的方法，用于解决多人姿态估计中的遮挡问题，该方法在时间上生成平滑、有效的轨迹，填补可视性差的空隙，实现了优于其他基于插值的方法的结果；同时，我们提出了合成的 MuCo-Temp 数据集，该数据集是 MuCo-3DHP 数据集的时间扩展。

    Oct, 2020

  • TEMP3D: 出现遮挡的连续时间 3D 人体姿势估计

    在具有重度遮挡的视频序列中，通过使用人体运动先验、大规模预训练的三维姿势和自监督学习，借助于时间连续性的潜力，提高给定视频序列中的三维姿势估计，从而在包含遮挡的自然环境视频中得到连续的三维姿势估计。

    Dec, 2023

  • 实现超过 100 FPS 的多人 3D 姿态估计的跨视图跟踪

    本论文提出了一种基于多个校准相机视角的、面向实时应用的多人三维姿态估计解决方案，利用视频中的时间一致性直接在三维空间中匹配二维输入与三维姿态，通过跨视图多人跟踪迭代地更新姿态，从而提高了准确性和效率，并介绍了新的大规模多人数据集。

    Mar, 2020

  • 增强时空上下文：单目视频中具有时态一致性的稳健 3D 人体动作恢复

    提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023

  • SoloPose: 基于视频数据增强的一次性运动学 3D 人体姿势估计

    本文介绍了 SoloPose，一种新颖的一次性、多对多的时空转换模型，用于视频中的运动学 3D 人体姿势估计。SoloPose 进一步加强了 HeatPose，一种基于高斯混合模型分布的 3D 热图，它对目标关键点和动力学相邻关键点进行因素分解。最后，我们通过 3D AugMotion 工具包解决了数据多样性限制问题，该方法通过将四个顶级公共 3D 人体姿势数据集（Humans3.6M、MADS、AIST Dance++、MPI INF 3DHP）投影到一个新的数据集（Humans7.1M）中，使用了一个通用的坐标系统。在 Human3.6M 和增强的 Humans7.1M 数据集上进行了大量实验证明，SoloPose 相对于最先进的方法具有优越的结果。

    Dec, 2023

  • UPose3D：带有跨视角和时间线索的不确定性感知 3D 人体姿态估计

    UPose3D 是一种新颖的多视图 3D 人体姿势估计方法，通过改进鲁棒性和可扩展性来解决准确性的挑战，同时不需要直接的 3D 注释。

    Apr, 2024

  • 视频中高效姿态估计的检测与追踪

    该论文提出了一种基于最新的人体检测和视频理解技术的轻量化人体关键点估计和跟踪方法，在帧级别和短视频片段中进行关键点估计，并进行轻量级跟踪，领先于多项竞争者，成为 2017 年 ICCV PoseTrack 的关键点跟踪挑战的最佳表现。

    Dec, 2017

  • 从运动补偿序列中直接预测 3D 身体姿态

    本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

    Nov, 2015