AAAIJan, 2020

卷积分层注意网络用于查询焦点视频摘要

PDF
TL;DR本文提出了一种基于查询的视频摘要生成方法，通过计算视频镜头与查询之间的相似度，采用包含两个部分的 Convolutional Hierarchical Attention Network 实现了对视觉信息的编码和查询相关性的计算，得到了查询相关的视频摘要。
video summarizationuser preferencequery-focusedconvolutional hierarchical attention networksimilarity
发现论文，激发创造
  • 基于分层卷积自注意力网络的开放式长视频问答

    本论文提出了一种高效的分层卷积自注意编 - 解码神经网络，旨在解决长形视频问答中长程依赖建模和计算成本高的问题。该方法通过分层结构和多通道视频表示的注意力机制，在视频序列中捕捉基于问题的长程依赖关系，提高了回答的效率和准确性。

    Jun, 2019

  • 使用全卷积序列网络进行视频摘要

    这篇论文探讨了视频摘要的问题，并将其作为一个序列标注问题。优化地选择输入视频的一部分帧以创建一个摘要视频，以最优地捕捉输入视频的重要信息，这提供了一个有用的工具来协助视频检索、浏览等。作者提出使用全卷积序列模型解决视频摘要问题，并通过对普通语义分割网络的改进使之适用于摘要视频的任务。实验结果表明提出的模型具有有效性。

    May, 2018

  • 基于查询的视频摘要：数据集、评估和基于记忆网络的方法

    本文提出了一种基于用户偏好查询的视频摘要模型，并利用基于概念注释的评估方法来解决视频摘要的性能评价问题。

    Jul, 2017

  • 查询导向的抽取式视频摘要

    本文介绍了一种基于概率模型的自动视频摘要算法，可以根据用户查询关键词和视频内容的重要性综合考虑来选择关键镜头并生成视频摘要，适用于搜索引擎等应用。

    Jul, 2016

  • 质量感知相关性估计的查询自适应视频摘要

    该研究利用神经网络诱导的文本视觉语义嵌入空间，将查询相关汇总作为视频帧子集选择问题进行提出，该方法在多个方面优于先前的技术，并引入具有多样性和查询特定相关性标签的新数据集进行模型训练和测试。

    May, 2017

  • 基于注意力机制的视频摘要

    提出了一种新的监督学习方法，基于关键帧技术和自注意力机制来实现视频摘要。该方法在两个公认的基准数据集 TvSum 和 SumMe 上取得了新的最佳结果。

    Dec, 2018

  • 基于注意力编码器 - 解码器网络的视频摘要

    本研究提出了一种名为 AVS 的新颖的基于注意力机制的编码器 - 解码器网络框架，该网络框架使用双向 LSTM 和注意力机制对原始视频帧进行编码和关键帧序列进行解码，实现对有监督视频摘要的问题的解决。经测试发现，该方法在 SumMe 和 TVSum 数据集上的表现明显优于现有方法，在两个数据集上分别从 0.8％到 3％都有了显著的提高。

    Aug, 2017

  • 基于查询条件的三人对抗网络在视频摘要中的应用

    本文提出了一种查询驱动的三方生成对抗网络，通过学习用户查询和视频内容的联合表示，并引入三方损失函数，即鼓励生成器学习更好的摘要结果，避免生成随机无意义摘要。实验结果表明，该方法在一些查询驱动的视频摘要基准数据集上表现出了高效性和可行性。

    Jul, 2018

  • 基于自注意力的生成式对抗网络用于无监督视频摘要

    本文通过引入自注意力机制和 Transformer 在视频总结中建模时间关系，以无监督的方法通过对抗性学习生成代表性摘要，并提出 SUM-GAN-AED 模型，评估结果表明，使用自我注意力机制作为帧选择机制在 SumMe 上优于现有技术，并在 TVSum 和 COGNIMUSE 上具有接近现有技术的性能。

    Jul, 2023

  • 视频动作识别的分层注意力网络

    本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

    Jul, 2016