Feb, 2023

使用双流卷积网络的 RGB 和姿态信息进行细粒度动作检测

PDF
TL;DR本论文提出了一种基于卷积神经网络和注意机制的两流网络方法，用于对乒乓球发球进行分类和检测，其中使用了原始 RGB 数据和 MMPose 工具箱计算的姿势信息，采用后期融合方法进行性能提升，并在 TTStroke-21 数据集上进一步评估，对飞球分类的准确率提高了到 87.3％，而检测结果虽没有超过基准，但仍可达到 0.349 的 IoU 和 0.110 的 mAP。
发现论文，激发创造
  • 三流 3D/1D CNN 在乒乓球细粒度动作分类和分割中的应用

    该研究提出了一种基于三流网络的多模态融合方法，用于细粒度体育动作分类，其中包括原始 RGB 数据、计算的光流和估计的运动员姿态，应用于 TTStroke-21 数据集，比以前的方法收敛更快，在分类已知时间边界的运动和关节分割和分类方面表现更好。

    Sep, 2021

  • 利用二维人体姿态估计进行乒乓球拍技术识别

    本文介绍了一种收集乒乓视频数据并进行击球检测和分类的新方法，使用 2D 姿势估计开发的时空卷积神经网络模型能够对这 11 种乒乓球击球进行多分类，以提高运动员的性能。

    Apr, 2021

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 流动中起舞：双重流行动检测

    本文提出一种基于新层的双流动作检测网络，将 RGB 和光流嵌入到单个双合一流网络中，使用运动条件层从流图像中提取运动信息，然后利用运动调制层生成调制 RGB 特征的变换参数，从而提高检测准确性。

    Apr, 2019

  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • 基于骨骼的动作识别的双流三维卷积神经网络

    本文利用 3D CNN 提取基于骨架的动作识别的时空信息与深度特征，探讨其与 RNN 的互补性和噪声下的鲁棒性，并在 SmartHome 数据集和 NTU RGB-D 数据集上获得优异的表现。

    May, 2017

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 使用注意机制的 3D CNNs 基准方法 - MediaEval 2022 体育任务

    本文介绍了用于媒体评估 2022 排行榜中运动视频任务的基础方法，该任务包括修剪视频的击球分类和未修剪视频的击球检测。我们为解决这两个子任务提出了两种 3D-CNN 架构，它们都使用了时空卷积和注意机制。基于我们的 v2 模型，分类子任务的基线方法达到了 86.4% 的准确度。对于检测子任务，基线方法使用 v1 模型实现了 0.131 的 mAP 和 0.515 的 IoU。该基线方法已公开在线共享，旨在帮助研究人员解决视频处理、训练方法、评估和提交等方面的问题。

    Feb, 2023

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • 利用球轨迹数据实现乒乓球拍法检测和识别

    本文利用球的轨迹，仅仅使用单个摄像头记录了四名职业乒乓球选手执行的六种不同类别的打法，通过 YOLOv4 和 TrackNetv2 等深度学习算法，研究了在乒乓球场上捕捉和识别击球动作的新方法。

    Feb, 2023