第一届滑冰领域挑战赛冠军解决方案
我们介绍了一个新的高分辨率、高帧率的立体视频数据集SPIN,用于跟踪和动作识别,在乒乓球比赛中进行。数据集包括53小时的训练数据和1小时的测试数据,并针对该数据集介绍了几个基准模型。该数据集可以用于机器学习和视觉任务的许多领域,如跟踪、姿态估计、半监督和无监督学习以及生成建模。
Dec, 2019
我们介绍了一个针对竞技体育视频特定的运动动作识别数据集(FSD-10),并在其中使用了一种关键帧(KTSN)分割网络方法。实验结果表明,这个数据集是衡量运动动作识别算法性能的理想基准,可以促进更健壮、先进的行动识别模型的发展。
Feb, 2020
本文提出的方法在Google Universal Images Embedding竞赛中获得了第一名,并基于进行训练和微调的新方法,更好的集成模型池中的模型,高分辨率和重叠拼贴的微调之间潜在的权衡,以及适用于动态边际的潜在因素等多个方面进行了讨论。
Oct, 2022
提出了一个多模态和多任务的花样滑冰数据集(MMFS),其中包含了动作识别和动作质量评估,收集了来自世界花样滑冰锦标赛的11671个视频片段,包含256个类别,包括空间和时间标签。
Jul, 2023
研究论文介绍了一种新颖的自监督视频策略,通过Temporal-DINO方法在行动预测方面取得了显著改进,提高了背景骨干网络捕捉长期依赖性的能力。
Aug, 2023
通过统计重采样技术,本研究调查了竞赛结果的普遍适用性问题,并提出了一种基于重采样性能数据的统计稳健解算器排名方法。应用于最近的SAT、AI规划和计算机视觉竞赛,分析结果显示了解算器性能的频繁统计并列以及与基于简单评分的官方结果相比的排名倒置。
Aug, 2023
人类中心的视频帧插值在改善人们的娱乐体验和寻找商业应用方面具有巨大潜力,特别是在体育分析行业中,例如合成慢动作视频。为了填补这一空白,我们引入了SportsSloMo,一个由超过130,000个视频片段和1,000,000个高分辨率(≥720p)慢动作体育视频的视频帧组成的基准。我们在我们的基准上重新训练了几个最先进的方法,结果显示它们的准确性低于其他数据集。这凸显了我们的基准的难度,并表明即使对于表现最好的方法,它也存在重大挑战,因为人体高度可变形且体育视频中经常出现遮挡。为了提高准确性,我们引入了考虑人类感知先验的两个损失项,其中对全景分割和人体关键点检测进行了辅助监督。这些损失项与模型无关,并且可以轻松插入任何视频帧插值方法。实验结果验证了我们提出的损失项的有效性,在5个现有模型上实现了持续的性能改进,并在我们的基准上建立了强大的基线模型。数据集和代码可以在此URL找到。
Aug, 2023
开展研究项目,以最新的 2021 年东京奥运会中的最酷滑板运动项目为灵感,我们首次策划了原始的现实世界视频数据集“SkateboardAI”,并自主设计和实现了多种单模态和多模态视频动作识别方法,准确识别不同的技巧。我们使用单模态方法分别应用了(1)CNN 和 LSTM;(2)CNN 和 BiLSTM;(3)带有有效注意机制的 CNN 和 BiLSTM;(4)基于 Transformer 的动作识别流程。在多模态条件下,我们还研究了两流式 Inflated-3D 架构在“SkateboardAI”数据集上与单模态情况的性能对比。总之,我们的目标是为最酷的滑板比赛开发一种出色的 AI 运动裁判。
Aug, 2023
SkatingVerse工作坊和挑战旨在鼓励开展研究,致力于开发新颖而准确的方法来理解人类行为。介绍了SkatingVerse数据集、训练子集和测试子集,并提供了该挑战的前三种方法的简要概述。
May, 2024
本研究针对花样滑冰领域中缺乏有效时间动作分割(TAS)方法和数据集的问题,首次创建了FS-Jump3D数据集,涵盖复杂的动态滑冰跳跃。我们提出了一种新的细粒度TAS数据集标注方法,使模型能够学习跳跃过程,并验证了3D姿态特征的有效性及细粒度数据集在TAS模型中的作用。
Aug, 2024