本文提出VideoSET，一种通过文本评估视频摘要的方法，该方法可以评估视频摘要能否保留其原始视频中包含的语义信息。我们观察到语义最容易用文字来表达，因此开发了一种基于文本的评估方法。通过生成视频摘要的文本表示，然后使用基于NLP的度量方法来测量其与人类编写的基准文本摘要的语义距离。我们展示了我们的技术与基于像素距离的度量方法相比具有更高的人类判断一致性。我们还发布了一些公开可用的视频数据集的文本注释和基准文本摘要，供计算机视觉社区使用。

Jun, 2014

本文提出了一种基于用户偏好查询的视频摘要模型，并利用基于概念注释的评估方法来解决视频摘要的性能评价问题。

Jul, 2017

本文探讨了视频摘要的问题，并提出了一种从未配对数据中学习视视频摘要的方法，该方法使用对抗性目标并对生成的视视频摘要施加多样性限制，实验结果表明该方法显着优于其他替代方法。

May, 2018

本文主要研究视频摘要中的评估方法，并提出了基于视频分割的替代方法，在使用两个知名的基准数据集进行研究时，惊奇地发现随机生成的视频摘要达到了与人类生成的摘要相当甚至更好的性能表现，并且视频分割对性能指标的影响最大。

Mar, 2019

本文提出了通过结合多种特征源进行特征融合的视频摘要算法，该算法在两个基准测试数据集TVSum和SumMe上取得了最新的研究结果，并对以往的研究方法进行了评估，同时进行误差分析以找出导致分类错误的因素。

May, 2021

CLIP-It是一种单一框架用于通用和基于查询的视频摘要，使用语言指导的多模式变压器来学习评分视频中的帧，并可以扩展到无监督环境。 在标准的视频摘要数据集和基于查询的视频摘要数据集上均表现出显著的优异性能。

Jul, 2021

我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集-VideXum来解决此问题，并使用新的度量标准VT-CLIPScore来评估跨模态摘要的语义一致性。我们提出的VTSUM-BILP模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

Mar, 2023

我们提出了一个新的任务和人类标注的数据集，用于评估视觉语言模型对于生成视频剪辑的标题和摘要的能力，该数据集包含了4800个YouTube视频剪辑，时长在20-60秒之间，涵盖了广泛的主题和兴趣，对于视觉和听觉内容都进行了基于摘要的检索任务和基于标题和摘要的生成任务的评估，并提出了一个基础模型作为Video-CSR任务的基准，旨在成为大型语言模型和复杂多模态任务时代的有用评估集。

Oct, 2023

基于对人类生成的视频摘要的洞察，本论文提出了一种新的视频摘要方法，该方法利用条件建模的视角，引入多个有意义的随机变量和联合分布来刻画视频摘要的关键组成部分，并利用辅助分布改进模型的训练。设计了条件注意力模块来减轻多模态输入可能导致的性能下降，该方法融合了以上创新设计选择，旨在缩小人工生成和机器生成视频摘要之间的差距。大量实验证明该方法优于现有方法，并在常用视频摘要数据集上实现了最先进的性能。

Nov, 2023

视频摘要是一个至关重要的研究领域，旨在从当今海量视频内容中高效浏览和检索相关信息。尽管视频摘要的重要性，缺乏多样化和有代表性的数据集阻碍了算法的全面评估和基准测试。为了克服数据稀缺的挑战并改进评估，我们提出了一种利用视频数据结构和信息生成信息摘要的无监督方法。此外，我们还引入了一种专门用于视频摘要的创新评估流程。实验结果表明，我们的无需训练的框架优于现有的无监督方法，并与最先进的监督方法取得竞争性结果。

Apr, 2024