使用事件相机进行乒乓球旋转估计
我们介绍了一个新的高分辨率、高帧率的立体视频数据集 SPIN,用于跟踪和动作识别,在乒乓球比赛中进行。数据集包括 53 小时的训练数据和 1 小时的测试数据,并针对该数据集介绍了几个基准模型。该数据集可以用于机器学习和视觉任务的许多领域,如跟踪、姿态估计、半监督和无监督学习以及生成建模。
Dec, 2019
基于高准确度视觉检测和快速机器人反应的改进型乒乓球机器人系统,通过多模态感知系统的创新校准方法实现了对旋转估计至关重要的精确度更高的旋转估计方法,并展示了结合基于事件的摄像头和脉冲神经网络(SNN)输出进行准确球检测的方法。
Oct, 2023
通过多相机系统与因子图的创新方法,结合人体姿态数据和时间卷积网络(TCN)来定位网球、预测轨迹,估计速度和旋转,提供更准确的旋转先验信息,从而提高运动初始阶段的隐藏状态推理能力。
Jan, 2024
本研究提出了一种基于物理模型的乒乓球弹道过滤和预测方法,首次将数据与物理先验知识相结合,通过神经网络推断球的初始条件,采用比黑盒模型更准确的方法预测球的运动轨迹,并在评估机械手臂的实际返回表现时取得了高达 97.7% 的成功率。
May, 2023
本文利用球的轨迹,仅仅使用单个摄像头记录了四名职业乒乓球选手执行的六种不同类别的打法,通过 YOLOv4 和 TrackNetv2 等深度学习算法,研究了在乒乓球场上捕捉和识别击球动作的新方法。
Feb, 2023
我们提出了一个神经网络 TTNet,旨在实时处理高分辨率的乒乓球视频,提供时间(事件检测)和空间(球检测和语义分割)数据,从而为自动裁判系统提供核心信息,同时我们发布了一个多任务数据集 OpenTTGames 以评估多任务方法,主要针对快速事件的检测和小物体跟踪,并在所呈现的数据集的测试部分展示了 97.0%的游戏事件检测的准确性,以及 2 像素 RMSE 的球检测准确性,并在单个消费级 GPU 的机器上实现每个输入张量不到 6 毫秒的推理时间,为实时多任务深度学习应用程序的发展做出贡献,并提供了一个潜在能够替代体育运动员的手动数据收集的方法,为裁判员的决策提供支持,并收集有关游戏过程的额外信息。
Apr, 2020
本文介绍了一种收集乒乓视频数据并进行击球检测和分类的新方法,使用 2D 姿势估计开发的时空卷积神经网络模型能够对这 11 种乒乓球击球进行多分类,以提高运动员的性能。
Apr, 2021
由于事件传感器具有高时间分辨率的视觉感知能力,在不受运动模糊的影响下,它们成为感知快速视觉现象的理想选择。我们提出了基于事件感知的结构 - 轨道(eSfO)方法,旨在同时重建由静态事件相机观察到的快速旋转对象的三维结构,并恢复相机的等效轨道运动。通过开发一种基于时空聚类和数据关联的新型事件特征跟踪器来跟踪有效特征的螺旋轨迹,将特征轨迹输入到基于因子图的结构 - 轨道后端,计算最小化投影误差的轨道运动参数(例如自旋速率、相对旋转轴)。通过与地面真值的比较,我们构建了一组新的事件数据集,并验证了 eSfO 的有效性。
May, 2024
使用事件驱动摄像头与脉冲神经网络相结合的新颖解决方案,实现了乒乓球的精确检测。通过比较不同脉冲神经网络框架和相应神经形态边缘设备的精确性和运行时间,为机器人研究人员提供了一个基准,并证明神经形态边缘设备上的脉冲神经网络能够实时运行在乒乓球机器人系统中。
Mar, 2024
介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线,并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练,该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。
Oct, 2021