Jul, 2024

强化学习和训练评估器的无监督视频摘要

HTML
PDF
TL;DR提出了一种采用增强学习的无监督视频摘要新方法，通过引入生成-判别器体系结构的不稳定训练和依赖手工制定的质量评估奖励函数等问题，改进无监督方法，使其产生与原始视频密切相似的精炼信息摘要。通过采用特殊的奖励生成流程，通过强化学习调训摘要模型的方式，生成模型可以从被部分覆盖的视频中重建部分帧，并将重建的摘要视频与原始视频进行比较。实验结果表明，该训练流程生成的摘要模型较之于依赖手工制定奖励的方法更好地模仿人工生成的摘要视频，其F值在TVSum和SumMe数据集上分别为62.3和54.5。此外，该方法在推理阶段的速度比先前报道的最先进方法快300倍。
发现论文，激发创造
  • 深度强化学习用于无监督视频摘要与多样性-代表性奖励

    该研究提出了一种基于强化学习和深度摘要网络的视频摘要算法，该算法的奖励函数同时考虑了视频摘要的多样性和代表性，并在两个基准数据集上展示了优异的性能。

    Dec, 2017

  • 通过学习未配对数据的视频摘要

    本文探讨了视频摘要的问题，并提出了一种从未配对数据中学习视视频摘要的方法，该方法使用对抗性目标并对生成的视视频摘要施加多样性限制，实验结果表明该方法显着优于其他替代方法。

    May, 2018

  • 使用深度强化学习进行分类的视频摘要

    本研究提出了基于增强学习的弱监督视频摘要方法，利用易于获得的视频级别类别标签，并通过训练深度Q学习（DQSN）的摘要网络，鼓励摘要包含类别相关信息和保持类别识别性。实验结果表明，该方法在两个基准数据集上均达到了最先进的性能。

    Jul, 2018

  • 基于查询条件的三人对抗网络在视频摘要中的应用

    本文提出了一种查询驱动的三方生成对抗网络，通过学习用户查询和视频内容的联合表示，并引入三方损失函数，即鼓励生成器学习更好的摘要结果，避免生成随机无意义摘要。实验结果表明，该方法在一些查询驱动的视频摘要基准数据集上表现出了高效性和可行性。

    Jul, 2018

  • Cycle-SUM：基于循环一致对抗LSTM网络的无监督视频摘要

    本文提出了一种新颖的无监督视频摘要模型——Cycle-SUM，采用了一种新的循环一致的对抗LSTM架构，能够有效地实现摘要视频的信息保存和紧凑性，其中包括一个帧选择器和一个基于循环一致性学习的可学习信息保存度量。

    Apr, 2019

  • 层次强化学习实现弱监督视频摘要

    提出了一种基于弱监督分层强化学习框架的视频摘要算法，该算法将任务分解为多个子任务，通过训练管理器网络为每个子任务设置子目标，在此基础上使用策略梯度预测视频帧的重要性得分，通过定义的子奖励和全局奖励来解决稀疏问题，并在两个基准数据集上实验证明其具有最佳性能。

    Jan, 2020

  • 文本摘要的逆强化学习

    本研究使用反向强化学习的方法构建了一个文本摘要模型，通过同时评估摘要代理的奖励函数和优化，我们证明该模型在诸多评测标准中优于MLE和RL基线模型。

    Dec, 2022

  • 基于强化学习的无监督句子自动摘要系统生成多种长度的摘要

    本篇论文提出了一种基于强化学习的抽象模型，用于无人工摘要的句子摘要，同时还开发了一种多摘要机制来提高摘要质量。实验结果表明，该模型明显优于抽象和提取式模型，经常生成未包含在原始文本中的新单词。

    Dec, 2022

  • 基于自注意力的生成式对抗网络用于无监督视频摘要

    本文通过引入自注意力机制和Transformer在视频总结中建模时间关系，以无监督的方法通过对抗性学习生成代表性摘要，并提出SUM-GAN-AED模型，评估结果表明，使用自我注意力机制作为帧选择机制在SumMe上优于现有技术，并在TVSum和COGNIMUSE上具有接近现有技术的性能。

    Jul, 2023

  • 无监督视频摘要

    该论文介绍了一种利用生成对抗网络的思想进行自动视频摘要的新的无监督方法，消除了鉴别器，使用简单的损失函数，并将模型的不同部分训练分离。采用迭代式训练策略，交替训练重构器和帧选择器多次迭代。此外，该方法在训练和评估期间添加了一个可训练的掩码向量到模型中进行摘要生成。在两个公共数据集(SumMe和TVSum)和四个我们创建的数据集(Soccer、LoL、MLB和ShortMLB)上的实验证明了每个组件在模型性能上的有效性，特别是迭代式训练策略。与最先进的方法进行的评估和比较突出了该方法在性能、稳定性和训练效率上的优势。

    Nov, 2023