EMNLPJul, 2017

利用观众聊天反应预测视频亮点

PDF
TL;DR本文提出采用多模态、多语言分析方法预测体育视频集锦的问题，并分析基于联合视觉特征和以实时观众的英文和繁体中文的复杂俚语文本分析的方法。作者基于北美和台湾的 Twitch.tv 频道的英雄联盟冠军系列记录创建了一个新的数据集，并表明了采用基于字符级卷积神经网络（CNN-RNN）模型的强大结果。该数据集将进一步用于研究。
sports channelmultimodal analysisvideo portalvideo highlight predictioncnn-rnn model
发现论文，激发创造
  • 特征组合与注意力相遇：百度足球嵌入和基于 Transformer 的时间检测

    本文提出了一种基于多阶段范式的方法，通过使用动作认知模型提取高级语义特征和设计转换器来定位目标事件，以检测和确定足球广播视频中事件的发生时间，并在 SoccerNet-v2 Challenge 中获得了最新的表现，在动作识别和重播地面任务上均表现出最先进的性能。

    Jun, 2021

  • 利用上下文线索生成篮球集锦

    本研究提出通过利用场景因素的线索自动产生高质量的篮球比赛精华片段，在新数据集上的实验验证了该算法与 ESPN 的产出效果相当。

    Jun, 2016

  • 分析体育评论以自动识别事件并提取观点

    我们研究了如何使用多种自然语言处理技术和方法自动识别体育赛事中的主要动作，并通过分析来自不同来源的现场体育评论以及将这些主要动作分类来提取洞察。我们还研究了情感分析是否能够帮助检测这些主要动作。

    Jul, 2023

  • LiveChat: 从视听多模态环境生成视频评论

    通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

    Oct, 2023

  • 使用深度行动识别特征对用户生成的体育视频进行总结

    该论文提出了一种通过深度神经网络对运动员的动作进行分类来生成运动视频摘要的方法，并采用日本剑术 Kendo 作为例子进行了评估，结果表明该方法优于之前的摘要方法。

    Sep, 2017

  • HighlightMe: 从人类中心视频中检测亮点

    文章介绍了一种基于图形表示多个可观测到的人类中心模式（例如姿势和面部表情）的视频的方法，使用带有空间 - 时间图卷积的自动编码器网络来检测基于这些模式的人类活动和互动，并将这些模式的基于活动和互动的潜在结构表示映射到基于帧的高亮度分数，用于计算哪些帧需要突出显示并拼接相邻帧以产生摘录。该方法无需用户提供的偏好或特定数据集的微调，可提高与这些数据集中现有方法相比的平均精度。

    Oct, 2021

  • 针对体育赛事的内容感知视频分析调研

    本研究通过对不同场景下内容结构研究所提供的深刻解释，从内容感知的角度，对广播体育的内容感知系统的相关主题进行了总结，重点关注了过去十年在体育节目中应用的视频内容分析技术以及针对对象、事件和上下文的分析方法，旨在确定用户需求。最后，本文总结了广播体育视频分析的未来趋势与挑战。

    Mar, 2017

  • 融合音频、文本和视觉特征进行新闻视频情感分析

    该论文提出了一种新颖的方法来执行新闻视频的情感分析，基于从内容中提取的音频、文字和视觉线索的融合。该方法旨在为构建媒体宇宙的 ethos（身份）的 semiodiscoursive 研究做出贡献，我们计算了从面部表情中识别出的视觉强度、参与者的声音调制、文本语音和情感得分（极性）。实验结果显示，该方法在情感分类任务中达到了高达 84％的准确度，因此在新闻界中具有极高的应用潜力。

    Apr, 2016

  • 一种多阶段深度结构用于足球视频摘要生成

    本文提出了一种利用音频和事件元数据生成足球比赛摘要的方法，在不同的数据集之间进行了泛化处理，并且可以提供不同的选项给最终编辑人员。

    May, 2022

  • SoccerNet-Caption：足球转播实时密集视频字幕生成

    本文提出了一种基于密集视频字幕的评论生成任务，旨在为足球比赛提供文字评论，以便广播公司能够将视频内容总结成同步且有意义的文字评论，从而更好地满足足球粉丝的需求，增强足球内容的可理解性和可访问性。

    Apr, 2023