CVPRApr, 2020

TTNet：乒乓球实时时空视频分析

PDF
TL;DR我们提出了一个神经网络 TTNet，旨在实时处理高分辨率的乒乓球视频，提供时间（事件检测）和空间（球检测和语义分割）数据，从而为自动裁判系统提供核心信息，同时我们发布了一个多任务数据集 OpenTTGames 以评估多任务方法，主要针对快速事件的检测和小物体跟踪，并在所呈现的数据集的测试部分展示了 97.0％的游戏事件检测的准确性，以及 2 像素 RMSE 的球检测准确性，并在单个消费级 GPU 的机器上实现每个输入张量不到 6 毫秒的推理时间，为实时多任务深度学习应用程序的发展做出贡献，并提供了一个潜在能够替代体育运动员的手动数据收集的方法，为裁判员的决策提供支持，并收集有关游戏过程的额外信息。
neural networktable tennis videosauto-referee systemmulti-task datasetreal-time processing
发现论文，激发创造
  • TrackNet：一种用于体育应用中追踪高速小目标的深度学习网络

    本研究通过使用深度学习模型 TrackNet，从模糊、带残影并有时不可见的广播视频中跟踪网球。在 2017 年夏季大学运动会男子单打决赛的视频上，TrackNet 的准确度、召回率和 F1-measure 达到了 99.7％、97.3％和 98.5％。

    Jul, 2019

  • 使用基于事件相机的神经形态硬件设备的脉冲神经网络进行快速运动目标检测

    使用事件驱动摄像头与脉冲神经网络相结合的新颖解决方案，实现了乒乓球的精确检测。通过比较不同脉冲神经网络框架和相应神经形态边缘设备的精确性和运行时间，为机器人研究人员提供了一个基准，并证明神经形态边缘设备上的脉冲神经网络能够实时运行在乒乓球机器人系统中。

    Mar, 2024

  • 多模态乒乓球机器人系统

    基于高准确度视觉检测和快速机器人反应的改进型乒乓球机器人系统，通过多模态感知系统的创新校准方法实现了对旋转估计至关重要的精确度更高的旋转估计方法，并展示了结合基于事件的摄像头和脉冲神经网络（SNN）输出进行准确球检测的方法。

    Oct, 2023

  • 三流 3D/1D CNN 在乒乓球细粒度动作分类和分割中的应用

    该研究提出了一种基于三流网络的多模态融合方法，用于细粒度体育动作分类，其中包括原始 RGB 数据、计算的光流和估计的运动员姿态，应用于 TTStroke-21 数据集，比以前的方法收敛更快，在分类已知时间边界的运动和关节分割和分类方面表现更好。

    Sep, 2021

  • 机器人乒乓球：高速学习系统案例研究

    该篇论文深入研究了一个真实世界的机器人学习系统，该系统能够和人类进行数百次乒乓球对打，并能够精确地将球返回到指定目标。论文提供了完整的系统描述，包括通常不广泛传播的设计决策，并附上一系列研究，澄清了减轻潜在延迟来源的重要性，考虑训练和部署分布变化的影响，感知系统的稳健性，策略超参数的敏感性以及行动空间的选择。

    Sep, 2023

  • 快速视频语义分割的时态分布网络

    该研究提出了一种名为 TDNet 的时态分布网络，旨在实现快速准确的视频语义分割，该网络使用深度卷积神经网络从视频中提取特征，并通过逐帧分布的方式，引入了新颖的注意力传播模块和分组知识蒸馏损失函数，从而达到了较高的分割准确率和更低的延迟。

    Apr, 2020

  • SoccerNet: 一个用于足球视频动作定位的可扩展数据集

    该研究介绍了 SoccerNet，这是一个针对足球视频中动作定位的基准数据集，涵盖 2014 年至 2017 年三个赛季的六个欧洲主要联赛中的 500 场比赛，其中自动分析了 6,637 个事件的时间注释。作者们利用了通用动作识别和检测的最新进展，提供了针对足球事件检测的强大基线。

    Apr, 2018

  • 一种用于羽毛球比赛分析的全深度系统

    CoachAI Badminton 2023 Track1 项目旨在自动检测羽毛球比赛视频中的事件，特别是对羽毛球的检测具有重要性和高精度的要求，然而，尽管我们对著名的 shuttlecock 检测模型 TrackNet 进行了修改，但我们的目标检测模型仍然没有达到所期望的准确度，为解决这个问题，我们实现了多种深度学习方法来应对因噪声数据而出现的问题，并利用多样的数据类型来提高精度，本报告详细介绍了我们对检测模型进行的修改以及处理 11 个任务的方法，值得一提的是，我们的系统在挑战中获得了 0.78 的分数（满分为 1.0）。

    Aug, 2023

  • 特征组合与注意力相遇：百度足球嵌入和基于 Transformer 的时间检测

    本文提出了一种基于多阶段范式的方法，通过使用动作认知模型提取高级语义特征和设计转换器来定位目标事件，以检测和确定足球广播视频中事件的发生时间，并在 SoccerNet-v2 Challenge 中获得了最新的表现，在动作识别和重播地面任务上均表现出最先进的性能。

    Jun, 2021

  • RMS-Net: 足球事件检测的回归和掩蔽

    该论文提出了一种轻量级的、具有模块化特性的网络，用于识别足球比赛中的事件，并且能够同时预测该事件的类别和时间偏移量；在使用标准特征测试时，与当前最新技术相比，该方法的平均精度提高了 3 个百分点，并且与强 2D 骨干网络结合微调后，在测试集上的平均精度提高了超过 10 个百分点。

    Feb, 2021