May, 2019

LightTrack: 一种通用的在线自上而下的人体姿态跟踪框架

PDF
TL;DR本文提出了一个新颖的轻量级框架 LightTrack，用于在线人体姿态跟踪。该框架集成了单人姿态跟踪和视觉对象跟踪，使用可替换的单人姿态估计模块，将单人姿态跟踪统一到多人身份关联中，并提出了人体姿态匹配的 Siamese Graph Convolution Network 作为此跟踪系统的 Re-ID 模块。该方法在维持更高帧率的同时，优于其他在线方法，与我们的离线最新技术非常有竞争力，并可适用于其他姿态估计器和候选匹配机制。
lighttrackhuman pose trackingsingle-person pose trackingsiamese graph convolution networkobject tracking
发现论文，激发创造
  • 视频中高效姿态估计的检测与追踪

    该论文提出了一种基于最新的人体检测和视频理解技术的轻量化人体关键点估计和跟踪方法，在帧级别和短视频片段中进行关键点估计，并进行轻量级跟踪，领先于多项竞争者，成为 2017 年 ICCV PoseTrack 的关键点跟踪挑战的最佳表现。

    Dec, 2017

  • 人体姿态识别与跟踪的自顶向下方法

    使用自顶向下的方法，建立了一个由三个模块组成的强基准系统，分别为人体候选检测器、单人姿态估计器和人体姿态跟踪器。该方法使用了先进的通用物体检测器来检测人体候选者，并使用级联金字塔网络来估计相应的人体姿态，最后使用基于光流的姿态跟踪器进行多目标姿态跟踪。经过大量实验验证了各种模型和配置，该方法成功参加了两个 ECCV18 PoseTrack 挑战：姿态估计和姿态跟踪。

    Jan, 2019

  • 结合检测与跟踪进行视频中人体姿态估计

    本篇论文提出了一种新的自上而下的方法来解决多人姿态估计和视频跟踪问题，该方法利用影片中已知的人位置向前向后传递并在这些区域搜索姿势，通过此技术，不局限于个人检测器的性能并且可以预测未被检测到的人的姿势。这种方法包括三个组件：（i）在小视频片段上同时执行身体关节检测和跟踪的 Clip Tracking Network；（ii）将 Clip Tracking Network 产生的固定长度轨迹片段合并为任意长度轨迹的 Video Tracking Pipeline；（iii）基于空间和时间平滑项来细化关节位置的空间 - 时间合并过程的 Spatial-Temporal Merging。由于我们的剪辑跟踪网络和合并过程的精度非常高，我们的方法可以在困难的场景（例如严重纠缠的人）中产生非常准确的关节预测，并在关节检测和跟踪方面实现了最先进的结果，对于 PoseTrack 2017 和 2018 数据集，并且超过了所有自上而下和自下而上的方法。

    Mar, 2020

  • 基于预测的追踪：一种用于多人定位和跟踪的深度生成模型

    本研究提出了一种全新的深度学习框架，包括生成对抗网络和数据关联策略，以解决多人定位和跟踪中的挑战。结果表明，该方法在各项性能评估指标中均表现突出，尤其是相对于其他深度神经网络方法。

    Mar, 2018

  • 通过图神经网络学习动态的人体姿态估计与跟踪

    本文提出了一种基于图神经网络 (GNN) 的在线学习姿态动态的新方法，通过纳入时空和视觉信息，匹配历史姿态 tracklets 并直接预测下一帧的目标姿态，通过综合检测到的姿态和预测，实现多人姿态估计和跟踪。实验结果表明，该方法在人体姿态估计和跟踪任务上具有优异的性能。

    Jun, 2021

  • 借助置信度网络优化多人姿态跟踪

    本研究开发了一种新型关键点置信网络和跟踪流程，以改善自上而下方法中的人体检测和姿势估计，实验结果显示我们的方法在人体检测和姿势估计方面具有普适性，并在 PoseTrack 2017 和 2018 数据集上取得最先进的性能。

    Oct, 2023

  • PoseTrack：联合多人姿态估计与跟踪

    本文介绍了一个具有挑战性的问题，即在不受限制的视频中联合估计和跟踪未知数量的人的多人姿态。为此，我们提出一种新方法，将多人姿势估计和跟踪联合建模在一个公式中，使用时空图表示身体关节检测，在图上使用整数线性规划将其划分为子图，对应于每个人的可能身体姿势轨迹，该方法隐含处理遮挡和截断的问题。我们还提出了一个完全不受限制的评估协议和具有挑战性的 “Multi-Person PoseTrack” 数据集，评估了所提出的方法和几个基线方法在我们的新数据集上的表现。

    Nov, 2016

  • PoseTrack: 人体姿态估计和跟踪基准

    本研究旨在建立 “PoseTrack” 的标准，该标准是一种基于视频的多人姿势估计和关节跟踪的大规模基准，该基准将集合人类视觉分析研究人员的团体，通过提供大型代表性训练数据集，为研究提供平台并客观评估和比较提出的方法。

    Oct, 2017

  • JOLO-GCN：挖掘基于骨架的动作识别的联合中心轻量级信息

    本文介绍了一种新的骨骼动作识别框架，名为 JOLO-GCN，它将人类姿态骨骼和轻便的联合信息结合起来，在两个流图卷积网络中使用联合对准光学流贴片（JFP）来捕捉每个关节周围的局部细微动作作为关键的中心视觉信息，这种组合方案有效地提高了性能，同时保持了计算和存储开销低。

    Nov, 2020

  • 姿势流：高效的在线姿势跟踪

    本文提出一种基于姿态流的多人姿态跟踪器，采用在线优化框架建立姿态流关联，并通过姿态流非极大值抑制策略优化性能，实验结果显示相对于最佳结果有 13 mAP 25 MOTA 和 6 mAP 3 MOTA 的提升，可在线 10FPS 进行实时跟踪。

    Feb, 2018