姿势流:高效的在线姿势跟踪
本文提出了一种针对无限约束视频中多人的关节追踪方法,利用简化稀疏的身体关系图和最近的快速推断方法,以及将计算量转移到卷积结构上;并将关节定位方案用于构建关节追踪形式,解决了所有场景中的关联问题,并已在公共MPII Human Pose基准测试中取得最新结果。
Dec, 2016
本研究旨在建立“PoseTrack”的标准,该标准是一种基于视频的多人姿势估计和关节跟踪的大规模基准,该基准将集合人类视觉分析研究人员的团体,通过提供大型代表性训练数据集,为研究提供平台并客观评估和比较提出的方法。
Oct, 2017
该论文提出了一种基于最新的人体检测和视频理解技术的轻量化人体关键点估计和跟踪方法,在帧级别和短视频片段中进行关键点估计,并进行轻量级跟踪,领先于多项竞争者,成为2017年 ICCV PoseTrack的关键点跟踪挑战的最佳表现。
Dec, 2017
本文提出了一种在线多人姿态跟踪方法,通过构建时空网络,利用多人姿态估计方法的空间网络提取图像特征和姿态特征,预测时间流场,并在二分图优化问题中使用相似性作为二元潜势实现多姿态追踪,展示了相对较小的CNN网络可以学习这些TFF,同时实现最先进的多人姿态跟踪结果。
May, 2018
本文提出了一种在线方法,可以有效地同时检测和跟踪视频序列中多个人的2D姿态,使用基于PAF表示的STAF编码和预测跨越视频序列的时间和空间亲和力场,使用递归神经网络使总体方法递归化,并且只使用在线推断和跟踪,不随场景中人数的运行时不变性和输入帧率的准确性不变性,使单GPU上的运行速度为约30fps, 在PoseTrack基准测试中取得了极具竞争力的结果。
Nov, 2018
使用自顶向下的方法,建立了一个由三个模块组成的强基准系统,分别为人体候选检测器、单人姿态估计器和人体姿态跟踪器。该方法使用了先进的通用物体检测器来检测人体候选者,并使用级联金字塔网络来估计相应的人体姿态,最后使用基于光流的姿态跟踪器进行多目标姿态跟踪。经过大量实验验证了各种模型和配置,该方法成功参加了两个 ECCV18 PoseTrack 挑战:姿态估计和姿态跟踪。
Jan, 2019
本文提出了一个新颖的轻量级框架LightTrack,用于在线人体姿态跟踪。该框架集成了单人姿态跟踪和视觉对象跟踪,使用可替换的单人姿态估计模块,将单人姿态跟踪统一到多人身份关联中,并提出了人体姿态匹配的Siamese Graph Convolution Network作为此跟踪系统的Re-ID模块。该方法在维持更高帧率的同时,优于其他在线方法,与我们的离线最新技术非常有竞争力,并可适用于其他姿态估计器和候选匹配机制。
May, 2019
本篇论文提出了一种新的自上而下的方法来解决多人姿态估计和视频跟踪问题,该方法利用影片中已知的人位置向前向后传递并在这些区域搜索姿势,通过此技术,不局限于个人检测器的性能并且可以预测未被检测到的人的姿势。这种方法包括三个组件:(i)在小视频片段上同时执行身体关节检测和跟踪的Clip Tracking Network;(ii)将Clip Tracking Network产生的固定长度轨迹片段合并为任意长度轨迹的Video Tracking Pipeline;(iii)基于空间和时间平滑项来细化关节位置的空间 - 时间合并过程的Spatial-Temporal Merging。由于我们的剪辑跟踪网络和合并过程的精度非常高,我们的方法可以在困难的场景(例如严重纠缠的人)中产生非常准确的关节预测,并在关节检测和跟踪方面实现了最先进的结果,对于PoseTrack 2017和2018数据集,并且超过了所有自上而下和自下而上的方法。
Mar, 2020
该论文综述了基于深度学习的姿势分析应用,包括姿势估计、姿势跟踪和动作识别,并讨论了现有技术的优势和局限性,重点介绍了将这三个任务整合到视频序列的统一框架中的方法,并探讨了相关挑战和未来研究方向。
Oct, 2023