视频摘要是一个至关重要的研究领域，旨在从当今海量视频内容中高效浏览和检索相关信息。尽管视频摘要的重要性，缺乏多样化和有代表性的数据集阻碍了算法的全面评估和基准测试。为了克服数据稀缺的挑战并改进评估，我们提出了一种利用视频数据结构和信息生成信息摘要的无监督方法。此外，我们还引入了一种专门用于视频摘要的创新评估流程。实验结果表明，我们的无需训练的框架优于现有的无监督方法，并与最先进的监督方法取得竞争性结果。

Apr, 2024

本文结合了多种自然语言处理技术和视频处理技术，将长视频转换为相对较短的单一视频，还探索了多个视频的合并摘要，证明视频摘要是一项困难但重要的工作，具有进一步研究和开发的潜力，这得益于自然语言处理模型的发展。

Dec, 2023

本文使用伪摘要的方法，提出了一种结合上下文感知时态视频编码器和片段评分转换器的教学视频摘要网络，并将其应用于 WikiHow Summaries 数据集。结果表明，该模型在教学视频摘要方面显著优于各基准和最先进的视频摘要模型。

Aug, 2022

本研究提出了一种新颖的深度神经网络体系结构，通过半监督的方法，总结第一人称视频中的关键视空间信息，其中利用第三人称视频作为训练数据，并在实验中展示了这个模型的定性和定量评估。

Nov, 2017

我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集 - VideXum 来解决此问题，并使用新的度量标准 VT-CLIPScore 来评估跨模态摘要的语义一致性。我们提出的 VTSUM-BILP 模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

Mar, 2023

本文提出一种基于强化学习的方法来加速教学视频，该方法可以自适应地选择不相关的帧以缩小输入视频，同时使用 Visually-guided Document Attention Network（VDAN）产生高度判别的嵌入空间来表示文本和视觉数据，实验证明本方法在视频段水平上实现了最佳的 F1 Score 和覆盖率。

Mar, 2020

该论文将视频摘要提出了内容为基础的推荐问题，使用可扩展的深度神经网络在显式建模的片段和视频上进行预测，通过场景和动作识别来寻找视频理解任务不同方面之间的相关性，同时讨论音频和视觉特征在总结任务中的影响，并通过数据增强和多任务学习来防止模型过度拟合。该模型最终在 ICCV 2019 CoView Workshop Challenge Track 中获得第一名。

Oct, 2019

本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

Jan, 2022

通过仅使用通过零样本方法获取的文本标题，我们提出了一种高效的纯文本视频摘要方法，能够以高数据效率实现有竞争力的准确性。我们通过训练语言转换模型并摒弃图像表示来进行视频摘要，从而允许我们在代表性文本向量之间进行筛选并压缩序列。我们的方法能够使自然语言解释能力易于人类理解，以及对视频的文本摘要。调查了模态性和数据压缩的消融研究表明，仅利用文本模态有效地减少了输入的数据处理量，同时保持了可比较的结果。

Sep, 2023

通过使用大型语言模型作为引导，本文提出了一种新颖的自监督视频摘要框架，通过生成视频帧的字幕，并将其合成为文本摘要，衡量帧字幕和文本摘要之间的语义距离，最终选择与文本摘要相似的帧来生成摘要视频。该方法在视频摘要任务中取得了有竞争力的结果，并为视频摘要领域开辟了新的道路。

May, 2024