Nov, 2014

运用音视频描述符自动概括足球精彩时刻

PDF
TL;DR本文提出了一种基于音视频描述符的自动足球视频集锦生成方法，通过对视频序列进行分段和分析来确定其相关性和兴趣度，使用音频信息提高摘要系统的性能，在应用经验知识规则组合低级和中级音视频描述符，选择与用户规格和相关度测量结果相适应的高兴趣度视频片段最终生成摘要。
automatic summarization generationsports video contentaudio-visual descriptorssoccerrelevance measures
发现论文，激发创造
  • 一种多阶段深度结构用于足球视频摘要生成

    本文提出了一种利用音频和事件元数据生成足球比赛摘要的方法，在不同的数据集之间进行了泛化处理，并且可以提供不同的选项给最终编辑人员。

    May, 2022

  • 使用深度行动识别特征对用户生成的体育视频进行总结

    该论文提出了一种通过深度神经网络对运动员的动作进行分类来生成运动视频摘要的方法，并采用日本剑术 Kendo 作为例子进行了评估，结果表明该方法优于之前的摘要方法。

    Sep, 2017

  • 增强上下文感知的视频摘要

    视频摘要是一个至关重要的研究领域，旨在从当今海量视频内容中高效浏览和检索相关信息。尽管视频摘要的重要性，缺乏多样化和有代表性的数据集阻碍了算法的全面评估和基准测试。为了克服数据稀缺的挑战并改进评估，我们提出了一种利用视频数据结构和信息生成信息摘要的无监督方法。此外，我们还引入了一种专门用于视频摘要的创新评估流程。实验结果表明，我们的无需训练的框架优于现有的无监督方法，并与最先进的监督方法取得竞争性结果。

    Apr, 2024

  • 使用深度语义特征的视频摘要

    该论文提出了一种基于深度视频特征和聚类的视频摘要技术，旨在更高效地生成互联网视频的概览，该技术通过设计一种映射视频和描述的深度神经网络来将视频元素转化为语义空间。

    Sep, 2016

  • 超越框架：用户定义长度的单个和多个视频摘要方法

    本文结合了多种自然语言处理技术和视频处理技术，将长视频转换为相对较短的单一视频，还探索了多个视频的合并摘要，证明视频摘要是一项困难但重要的工作，具有进一步研究和开发的潜力，这得益于自然语言处理模型的发展。

    Dec, 2023

  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • 重新思考视频摘要的评估

    本文主要研究视频摘要中的评估方法，并提出了基于视频分割的替代方法，在使用两个知名的基准数据集进行研究时，惊奇地发现随机生成的视频摘要达到了与人类生成的摘要相当甚至更好的性能表现，并且视频分割对性能指标的影响最大。

    Mar, 2019

  • 基于条件建模的自动视频摘要

    基于对人类生成的视频摘要的洞察，本论文提出了一种新的视频摘要方法，该方法利用条件建模的视角，引入多个有意义的随机变量和联合分布来刻画视频摘要的关键组成部分，并利用辅助分布改进模型的训练。设计了条件注意力模块来减轻多模态输入可能导致的性能下降，该方法融合了以上创新设计选择，旨在缩小人工生成和机器生成视频摘要之间的差距。大量实验证明该方法优于现有方法，并在常用视频摘要数据集上实现了最先进的性能。

    Nov, 2023

  • 口述时刻：从视频描述中学习联合音频视觉表示

    本文介绍了一种新的数据集，名为 ‘Spoken Moments’，共收集了 500k 由语音记录的视频描述并提出一种名为 AMM 的对比学习方法，用于视频标注和检索任务，并通过评估得到了较好的实验结果。

    May, 2021

  • 综合视频理解：基于内容的视频推荐器设计的视频摘要

    该论文将视频摘要提出了内容为基础的推荐问题，使用可扩展的深度神经网络在显式建模的片段和视频上进行预测，通过场景和动作识别来寻找视频理解任务不同方面之间的相关性，同时讨论音频和视觉特征在总结任务中的影响，并通过数据增强和多任务学习来防止模型过度拟合。该模型最终在 ICCV 2019 CoView Workshop Challenge Track 中获得第一名。

    Oct, 2019