May, 2024

SoccerNet-Echoes: 一个足球比赛音频评论数据集

PDF
TL;DR在足球领域，应用自动语音识别（ASR）技术提供了许多运动分析的机会，本研究介绍了 SoccerNet-Echoes 数据集，利用 ASR 自动生成足球比赛音频解说的文字转录，通过丰富的文字信息增强视频内容，扩展了 SoccerNet 数据集的用途，包括提升的动作定位、自动字幕生成和比赛摘要等多样化的应用领域，通过结合视觉、听觉和文字信息，SoccerNet-Echoes 旨在为捕捉足球比赛动态特征的算法开发提供全面的资源，并且强调多模态方法在运动分析中的意义，以及丰富的数据集对于推动该领域的研究和发展所带来的影响。
发现论文，激发创造
  • MatchTime: 自动足球比赛评论生成

    本文通过创建更强大的足球比赛评论生成基准数据集 SN-Caption-test-align，利用多模态时间对齐流程构建出高质量的训练数据集 MatchTime，训练了一个自动评论生成模型 MatchVoice，并通过广泛实验和消融研究证明了对齐流程的有效性和在评论生成任务中带来的显著性能提升。

    Jun, 2024

  • SoccerNet-Caption：足球转播实时密集视频字幕生成

    本文提出了一种基于密集视频字幕的评论生成任务，旨在为足球比赛提供文字评论，以便广播公司能够将视频内容总结成同步且有意义的文字评论，从而更好地满足足球粉丝的需求，增强足球内容的可理解性和可访问性。

    Apr, 2023

  • SoccerNet-v2：广播足球视频整体理解数据集和基准

    SoccerNet-v2 提出了一个大规模手动注释的语料库，其中包含大约 300k 个注释，用于扩展足球领域中的任务，以推动计算机视觉更接近于针对更广泛视频理解和制作目的的自动解决方案。

    Nov, 2020

  • 运用音视频描述符自动概括足球精彩时刻

    本文提出了一种基于音视频描述符的自动足球视频集锦生成方法，通过对视频序列进行分段和分析来确定其相关性和兴趣度，使用音频信息提高摘要系统的性能，在应用经验知识规则组合低级和中级音视频描述符，选择与用户规格和相关度测量结果相适应的高兴趣度视频片段最终生成摘要。

    Nov, 2014

  • 大规模数据集上的电子竞技数据即时解说生成

    本研究提出了一项从结构化数据记录中生成游戏评论的任务，利用一种大规模的电子竞技数据集和多种基线编码器 - 解码器模型以及一种层次模型来生成各个层面的比赛评论，结果表明层次模型优势明显，并且揭示了几个新任务带来的挑战。

    Dec, 2022

  • 走向目标：基于场景的足球评论资源

    本文提出了 GrOunded footbAlL commentaries（GOAL）数据集，该数据集包括了足球视频以及相应的英语实况解说文本，用于探究动态语言上下文，进一步提供了诸如帧重排序、时刻检索、实况解说检索、以及实况解说生成等四项任务的最新基线模型。实验结果表明，在大部分任务上，模型表现良好。

    Nov, 2022

  • 联合语音识别和音频字幕

    为了更好地解释语音样本中的背景噪声，并对内容进行全面理解，我们提出了多种方法来实现自动语音识别和自动音频字幕的端对端联合建模，并使用混合干净语音和多种背景噪声的多任务数据集进行实验验证。

    Feb, 2022

  • 知识增强型体育比赛摘要

    本文介绍了 K-SportsSum，它是一个由大规模比赛实时评论和体育新闻构成的新数据集，并提出了一种知识增强式总结器，利用实时评论和知识来生成更具信息量的体育新闻，实验证明了我们的模型达到了新的最高水平。

    Nov, 2021

  • FOOCTTS：基于音频环境的足球评论员阿拉伯语语音生成

    本文提出了一个名为 FOOCTTS 的自动化管道，用于让足球解说员在背景噪声中生成语音，该系统包括文本预处理、阿拉伯语音自动识别、CTC 分割、语音合成和音频环境匹配等功能。

    Jun, 2023

  • 半监督语音混合训练声学模型

    本文主要介绍了对 Frisian—Dutch code-switching 语音进行自动化标注和学习的几种方法，并探索了扩充语音数据的方法以提高类似语音识别模型的效果的研究。

    Oct, 2018