Aug, 2023

SkateboardAI：最酷的滑板视频动作识别

HTML
PDF
TL;DR开展研究项目，以最新的 2021 年东京奥运会中的最酷滑板运动项目为灵感，我们首次策划了原始的现实世界视频数据集“SkateboardAI”，并自主设计和实现了多种单模态和多模态视频动作识别方法，准确识别不同的技巧。我们使用单模态方法分别应用了（1）CNN 和 LSTM；（2）CNN 和 BiLSTM；（3）带有有效注意机制的 CNN 和 BiLSTM；（4）基于 Transformer 的动作识别流程。在多模态条件下，我们还研究了两流式 Inflated-3D 架构在“SkateboardAI”数据集上与单模态情况的性能对比。总之，我们的目标是为最酷的滑板比赛开发一种出色的 AI 运动裁判。
发现论文，激发创造
  • 基于3D卷积神经网络在冰球视频中实现多标签类别不平衡的动作识别

    本研究利用3D CNN构建深度多标签HAR系统以解决应用于曲棍球视频中类别不平衡动作识别的问题，并对该系统进行了测试和验证，结果表明该方法比现有解决方案表现更好。

    Sep, 2017

  • SPIN: 一个高速、高分辨率的乒乓球运动跟踪和动作识别视觉数据集

    我们介绍了一个新的高分辨率、高帧率的立体视频数据集SPIN，用于跟踪和动作识别，在乒乓球比赛中进行。数据集包括53小时的训练数据和1小时的测试数据，并针对该数据集介绍了几个基准模型。该数据集可以用于机器学习和视觉任务的许多领域，如跟踪、姿态估计、半监督和无监督学习以及生成建模。

    Dec, 2019

  • FSD-10: 竞技体育内容分析数据集

    我们介绍了一个针对竞技体育视频特定的运动动作识别数据集(FSD-10)，并在其中使用了一种关键帧(KTSN)分割网络方法。实验结果表明，这个数据集是衡量运动动作识别算法性能的理想基准，可以促进更健壮、先进的行动识别模型的发展。

    Feb, 2020

  • SportsCap：具挑战性运动视频中单目3D人体动作捕捉与细粒度理解

    本论文提出了一种名为SportsCap的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获3D人体运动和理解细粒度动作，并使用多流空间-时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

    Apr, 2021

  • 三流3D/1D CNN在乒乓球细粒度动作分类和分割中的应用

    该研究提出了一种基于三流网络的多模态融合方法，用于细粒度体育动作分类，其中包括原始RGB数据、计算的光流和估计的运动员姿态，应用于TTStroke-21数据集，比以前的方法收敛更快，在分类已知时间边界的运动和关节分割和分类方面表现更好。

    Sep, 2021

  • 使用双流卷积网络的RGB和姿态信息进行细粒度动作检测

    本论文提出了一种基于卷积神经网络和注意机制的两流网络方法，用于对乒乓球发球进行分类和检测，其中使用了原始RGB数据和MMPose工具箱计算的姿势信息，采用后期融合方法进行性能提升，并在TTStroke-21数据集上进一步评估，对飞球分类的准确率提高了到87.3％，而检测结果虽没有超过基准，但仍可达到0.349的IoU和0.110的mAP。

    Feb, 2023

  • 细粒度动作分析：一个多模态和多任务的花样滑冰数据集

    提出了一个多模态和多任务的花样滑冰数据集（MMFS），其中包含了动作识别和动作质量评估，收集了来自世界花样滑冰锦标赛的11671个视频片段，包含256个类别，包括空间和时间标签。

    Jul, 2023

  • SkateFormer：人类动作识别的骨骼时空变换器

    提出了一种名为SkateFormer的新方法，通过将关节和帧基于不同类型的骨骼时空关系进行划分，并在每个划分中进行骨骼时空自注意力计算（Skate-MSA），从而在行动识别中有选择地关注关键关节和帧，提高了效率。在各种基准数据集上进行的大量实验证明，SkateFormer优于最近的最先进方法。

    Mar, 2024

  • VideoBadminton：一个用于羽毛球动作识别的视频数据集

    通过对高质量羽毛球镜头的全面评估，本研究旨在推进动作识别领域，尤其是在羽毛球运动中。引入VideoBadminton数据集不仅可以用于羽毛球动作识别，还可以提供一个识别细粒度动作的数据集。从这些评估中获得的见解有望催生更多在运动背景下的动作理解研究。

    Mar, 2024

  • 基于3D姿态的花样滑冰时间动作分割：一种细粒度及跳跃过程感知的标注方法

    本研究针对花样滑冰领域中缺乏有效时间动作分割（TAS）方法和数据集的问题，首次创建了FS-Jump3D数据集，涵盖复杂的动态滑冰跳跃。我们提出了一种新的细粒度TAS数据集标注方法，使模型能够学习跳跃过程，并验证了3D姿态特征的有效性及细粒度数据集在TAS模型中的作用。

    Aug, 2024