Jul, 2023

SoccerKDNet: 足球视频中行动识别的知识蒸馏框架

PDF
TL;DR本文提出了一种基于知识蒸馏的端到端转移学习网络，在 Kinetics400 数据集上进行预训练，并利用独特的损失参数化对学习框架进行了广泛的分析。最终，在新的 SoccerDB1 数据集上获得了 67.20％的验证准确性，表现远优于先前的技术，并且模型还能轻松地推广到新数据集。
soccer videostransfer learning networkknowledge distillationdatasetclassification results
发现论文，激发创造
  • SoccerNet: 一个用于足球视频动作定位的可扩展数据集

    该研究介绍了 SoccerNet，这是一个针对足球视频中动作定位的基准数据集，涵盖 2014 年至 2017 年三个赛季的六个欧洲主要联赛中的 500 场比赛，其中自动分析了 6,637 个事件的时间注释。作者们利用了通用动作识别和检测的最新进展，提供了针对足球事件检测的强大基线。

    Apr, 2018

  • SoccerDB：一个用于综合视频理解的大型数据库

    本文提出了一种名为 SoccerDB 的新足球视频数据库，包含 171,191 个视频段，702,096 个边界框，37,709 个基本事件标签以及 17,115 个高光时刻注释，可用于目标检测、动作识别、时间动作定位和高光检测等任务。该数据库是关于各方面的综合体育视频理解的最大数据库，我们进一步调查了一系列在 SoccerDB 上的强基线，并证明了它们在独立任务上的最先进性能。我们相信 SoccerDB 的发布将极大地推动综合视频理解的研究。

    Dec, 2019

  • DL-KDD: 暗光条件下行动识别的双光知识蒸馏

    我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

    Jun, 2024

  • SoccerNet-v2 中的相机校准和球员定位，以及它们在动作检测中的表示研究

    该研究聚焦于足球广播视频的摄像头校准和现有科学社区的限制，并通过深度学习技术和大规模数据集的发布来提高现有体育动作捕捉算法的性能。

    Apr, 2021

  • 基于生成模型的特征知识蒸馏用于行为识别

    本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

    Dec, 2023

  • 行动识别的未来何去何从？一种新模型及动力学数据集

    本研究基于 Kinetics 数据集重新评估最先进的体系结构，并引入一种新的双流膨胀 3D ConvNet（I3D），该 ConvNet 可以在视频中学习无缝的时空特征提取器，利用成功的 ImageNet 架构设计及其参数，经过在 Kinetics 上的预训练后，I3D 模型在动作分类方面表现明显提高。

    May, 2017

  • 跨模态知识蒸馏用于动作识别

    研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态，提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法，使得几乎达到了使用完全监督训练的学生网络的精度。

    Oct, 2019

  • SoccerNet-v2：广播足球视频整体理解数据集和基准

    SoccerNet-v2 提出了一个大规模手动注释的语料库，其中包含大约 300k 个注释，用于扩展足球领域中的任务，以推动计算机视觉更接近于针对更广泛视频理解和制作目的的自动解决方案。

    Nov, 2020

  • 使用密集检测锚点在足球视频中精确检测动作

    通过使用一组密集的检测锚点，预测每个锚点的检测置信度和相应的精细时间位移量，我们提出了一种视频中时间精准行动检测的模型，并尝试了两种主干架构，一维版的 u-net 和 Transformer 编码器 (TE), 并采用锐度感知最小化 (SAM) 和混合数据增强方法进行模型训练，取得了 SoccerNet-v2 数据集上的最新最佳性能，同时证明了预测时间位移量，不同主干架构的权衡，采用 SAM 和 mixup 进行训练的好处等相关实验结果。

    May, 2022

  • 全球与本地场景实体建模以实现精确的动作检测

    我们提出了一种新的方法，通过自适应注意机制来分析和建模场景实体，以解决在体育视频中探测行为的复杂挑战，并取得了出色的性能改进。

    Apr, 2024