May, 2021

用于视频摘要的重建序列图网络

PDF
TL;DR提出了一种基于 Reconstructive Sequence-Graph Network 的视频摘要算法，该算法通过在长短时记忆和图卷积网络中编码帧和镜头之间的依赖关系并利用重构损失函数，可以用于无监督学习，其通过在 SumMe，TVsum 和 VTW 等数据集上的实验证明了其在摘要任务中的优异性能。
video summarizationdependenciessequence-graph networkunsupervised learningreconstruction loss
发现论文，激发创造
  • 递归图建模实现视频摘要的 SumGraph 算法

    本文提出了一种递归图建模网络框架 SumGraph，将视频摘要生成问题转化为了图建模问题，并利用图卷积网络对递归建模过程中的节点进行二分类，从而达到更好的视频摘要效果。经实验证明，该方法在视频摘要领域取得了当前最优效果。

    Jul, 2020

  • 层次化递归神经网络用于视频摘要

    本篇论文提出了一种名为 H-RNN 的分层循环神经网络用于视频摘要，其可以更好地利用帧之间的长时间依赖性，并且在 Combined 和 VTW 两个数据集上表现优于现有技术。

    Apr, 2019

  • 结构化神经网络摘要

    通过将序列编码器与图形成分扩展，我们开发了一个框架，旨在处理文本等弱结构化数据中的长距离关系，从而实现对序列的概括。在广泛的评估中，我们展示了这种混合模型的优越性。

    Nov, 2018

  • 长短期记忆视频摘要

    本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

    May, 2016

  • 深度卷积图网络的分层视频帧序列表示

    本文提出了一种基于深度卷积图神经网络的视频分类方法，利用视频的分层结构特性通过图网络对视频帧序列进行多级特征提取，获得反映事件语义的视频表示，其在 YouTube-8M 大规模视频理解数据集上的表现优于基于 RNN 的基准模型。

    Jun, 2019

  • VideoSAGE: 利用图表示学习进行视频摘要

    提出了一种基于图的表示学习框架用于视频摘要，通过将输入视频转换为图，从而在图上建立稀疏连接，将视频摘要任务转化为二进制节点分类问题，以捕捉视频帧之间的长程相互作用，同时具有更高的计算效率和内存利用率。

    Apr, 2024

  • 视频字幕的语义分组网络

    本文提出了基于语义分组网络（SGN）的视频字幕生成模型，通过学习算法去捕捉部分解码的字幕词组并将其与相关联的视频帧建立映射，从而实现语义相关的视频帧聚类和冗余信息的减少，创新性地提出了一种对齐方法，通过不断更新的解码单词动态更新视频表示，最终在 MSVD 和 MSR-VTT 数据集上的表现优于其他方法 2.1% p 和 2.4% p，实验证明 SGN 的高效性和可解释性。

    Feb, 2021

  • 基于 CNN 的视频帧重要性预测与摘要

    本文提出了一种基于卷积神经网络的用户定向视频摘要生成方法，与传统的基于手工特征的方法相比，通过离线训练得到的权重和偏差使得该系统可以几乎实时地提取视频帧的重要性，实验结果表明该方法在估计视频镜头重要性方面表现优异。

    Aug, 2017

  • 时序动作定位的视频自缝合图网络

    该研究提出了一种名为 VSGN 的多级交叉尺度解决方案，其中包括视频自缝合和跨尺度图形金字塔网络等组件，以改善短动作的时空定位性能并在 THUMOS-14 等数据集上取得了最新的最佳表现。

    Nov, 2020

  • 由潜在分层文档结构引导的抽象摘要

    提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

    Nov, 2022