解耦视频和人体动作:进军运动员录像实用事件检测
本文提出了一种新的基于事件的方法,用于 3D 姿态估计和人体网格恢复,通过移动事件相机,通过衰减光线雕刻 3D 体素,重建人体姿态和网格,并拟合统计身体模型,实验结果表明该方法在姿态和身体网格估计精度方面优于传统基于帧的方法。
Apr, 2024
研究了利用视频行为识别任务中的人体姿态,介绍了 Video Pose Distillation (VPD) 弱监督技术来学习新视频领域的特征。其在不需要额外的人体姿态注释的情况下,在四个真实世界的体育视频数据集上提高了人体动作识别、检索和检测任务的性能。
Sep, 2021
本文提出了使用事件相机和基于 CNN 的姿态检测方法的 EventCap 方法,结合了基于模型的优化以及深度网络检测处理,以捕获高速运动细节和减少跟踪漂移。实验结果表明,该方法具有高效准确的优点,并且对于具有挑战性的照明条件具有较强的鲁棒性。
Aug, 2019
本研究对两个视频异常数据集进行了分析和定量化,以更好地理解基于姿势的异常检测的困难之处,并探索了基于姿势和轨迹的区别能力以及基于上下文的有效性,从而加速更好性能、更具鲁棒性的模型的开发。
Mar, 2023
针对运动视频分析的问题,我们提出了在粗略注释视频中进行事件检测的任务,并引入了一种多塔时间卷积网络的架构。该方法在 NHL 数据集上获得了 55%的平均 F1 分数,并在 SoccerNet 数据集上实现了与现有技术水平的竞争性表现。我们相信我们的方法将有助于开发更实用的运动视频事件检测流水线。
Apr, 2020
本文介绍了一种基于物理模型的方法,用于从视频中推断 3D 人体运动,该方法利用初始的 2D 和 3D 姿态估计作为输入,并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示,相较于纯运动学方法,该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本研究提出了一种基于事件相机的两阶段深度学习方法 EventHPE,用于从事件信号中估计 3D 人体姿态和形状,其中第一阶段 FlowNet 通过非监督学习推断光流,而 ShapeNet 通过最大化流一致性从事件信号和光流估计 3D 人体形状,并在内部构建了一个 3D 人体数据集进行实证评估。
Aug, 2021
本文研究了如何通过部分体育场地登记和联合优化 3D 姿势估计和相机标定来提取 3D 运动学数据,生成了一个 10K 张图像的合成数据集来展示现有单目 3D HPE 方法的局限性。
Apr, 2023