Nov, 2023

无监督视频摘要

PDF
TL;DR该论文介绍了一种利用生成对抗网络的思想进行自动视频摘要的新的无监督方法，消除了鉴别器，使用简单的损失函数，并将模型的不同部分训练分离。采用迭代式训练策略，交替训练重构器和帧选择器多次迭代。此外，该方法在训练和评估期间添加了一个可训练的掩码向量到模型中进行摘要生成。在两个公共数据集 (SumMe 和 TVSum) 和四个我们创建的数据集 (Soccer、LoL、MLB 和 ShortMLB) 上的实验证明了每个组件在模型性能上的有效性，特别是迭代式训练策略。与最先进的方法进行的评估和比较突出了该方法在性能、稳定性和训练效率上的优势。
发现论文，激发创造
  • 基于自注意力的生成式对抗网络用于无监督视频摘要

    本文通过引入自注意力机制和 Transformer 在视频总结中建模时间关系，以无监督的方法通过对抗性学习生成代表性摘要，并提出 SUM-GAN-AED 模型，评估结果表明，使用自我注意力机制作为帧选择机制在 SumMe 上优于现有技术，并在 TVSum 和 COGNIMUSE 上具有接近现有技术的性能。

    Jul, 2023

  • 多源特征无监督视频摘要

    本文提出了通过结合多种特征源进行特征融合的视频摘要算法，该算法在两个基准测试数据集 TVSum 和 SumMe 上取得了最新的研究结果，并对以往的研究方法进行了评估，同时进行误差分析以找出导致分类错误的因素。

    May, 2021

  • 基于多模态自监督学习的渐进式视频摘要技术

    本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

    Jan, 2022

  • 通过学习未配对数据的视频摘要

    本文探讨了视频摘要的问题，并提出了一种从未配对数据中学习视视频摘要的方法，该方法使用对抗性目标并对生成的视视频摘要施加多样性限制，实验结果表明该方法显着优于其他替代方法。

    May, 2018

  • 无监督视频摘要的判别式特征学习

    本文提出了一种解决自动从输入视频中提取关键镜头的无监督视频摘要问题的方法，并针对我们的经验观察处理了两个关键问题：由于每帧的输出重要性得分是平坦分布的而导致的无效特征学习和处理长视频输入时的训练困难问题。为了缓解第一个问题，我们提出了一个称为方差损失的简单而有效的正则化损失项。对于第二个问题，我们设计了一种新颖的两流网络，名为 “块和步距网络（CSNet）”，它利用了视频特征上的本地（块）和全局（步距）时间视图，针对长视频的摘要结果比现有方法更好。此外，我们还引入了一种注意机制来处理视频中的动态信息。通过进行全面的消融研究，我们证明了所提出方法的有效性，并展示了我们的最终模型在两个基准数据集上实现了新的最优结果。

    Nov, 2018

  • 利用语言引导的自监督视频摘要生成方法，考虑视频多样性的文本语义匹配

    通过使用大型语言模型作为引导，本文提出了一种新颖的自监督视频摘要框架，通过生成视频帧的字幕，并将其合成为文本摘要，衡量帧字幕和文本摘要之间的语义距离，最终选择与文本摘要相似的帧来生成摘要视频。该方法在视频摘要任务中取得了有竞争力的结果，并为视频摘要领域开辟了新的道路。

    May, 2024

  • Cycle-SUM：基于循环一致对抗 LSTM 网络的无监督视频摘要

    本文提出了一种新颖的无监督视频摘要模型 ——Cycle-SUM，采用了一种新的循环一致的对抗 LSTM 架构，能够有效地实现摘要视频的信息保存和紧凑性，其中包括一个帧选择器和一个基于循环一致性学习的可学习信息保存度量。

    Apr, 2019

  • 深度强化学习用于无监督视频摘要与多样性 - 代表性奖励

    该研究提出了一种基于强化学习和深度摘要网络的视频摘要算法，该算法的奖励函数同时考虑了视频摘要的多样性和代表性，并在两个基准数据集上展示了优异的性能。

    Dec, 2017

  • 使用全卷积序列网络进行视频摘要

    这篇论文探讨了视频摘要的问题，并将其作为一个序列标注问题。优化地选择输入视频的一部分帧以创建一个摘要视频，以最优地捕捉输入视频的重要信息，这提供了一个有用的工具来协助视频检索、浏览等。作者提出使用全卷积序列模型解决视频摘要问题，并通过对普通语义分割网络的改进使之适用于摘要视频的任务。实验结果表明提出的模型具有有效性。

    May, 2018

  • 基于条件建模的自动视频摘要

    基于对人类生成的视频摘要的洞察，本论文提出了一种新的视频摘要方法，该方法利用条件建模的视角，引入多个有意义的随机变量和联合分布来刻画视频摘要的关键组成部分，并利用辅助分布改进模型的训练。设计了条件注意力模块来减轻多模态输入可能导致的性能下降，该方法融合了以上创新设计选择，旨在缩小人工生成和机器生成视频摘要之间的差距。大量实验证明该方法优于现有方法，并在常用视频摘要数据集上实现了最先进的性能。

    Nov, 2023