CVPRMay, 2024

CSTA：基于卷积神经网络的时空注意力视频摘要

PDF
TL;DR提出了一种基于 CNN 的时空注意力（CSTA）方法，将视频的每个帧的特征堆叠起来形成类似图像的帧表示，并应用 2D CNN 对这些帧特征进行处理，实现对关键属性的学习和视觉重要性的捕捉，在 SumMe 和 TVSum 等数据集上实验证明了该方法在减少计算量的同时取得了最先进的性能。
video summarizationattention mechanismscsta methodspatiotemporal attentioncnn-based
发现论文，激发创造
  • 时空关注的两流协同学习用于视频分类

    本论文提出了一种适用于视频分类的两流协作学习方法，采用空间 - 时间注意力模型实现了针对视频中静态和动态信息的协同学习，以提取出区分度更强的特征向量，实验结果表明，该方法在各项性能指标上均优于其他 10 多种最先进的方法。

    Nov, 2017

  • 基于注意力机制的视频摘要

    提出了一种新的监督学习方法，基于关键帧技术和自注意力机制来实现视频摘要。该方法在两个公认的基准数据集 TvSum 和 SumMe 上取得了新的最佳结果。

    Dec, 2018

  • STA: 大规模视频人员再识别的时空注意力

    本文中，我们提出了一种新的空间 - 时间注意力（STA）方法，用于解决视频中的大规模人员重新识别任务，该方法通过在时空维度上充分利用那些具有区分性的目标人物部分来生成鲁棒的剪辑级特征表示，使用该方法可以很好地解决基于视频的人员重新识别的挑战性问题，如姿势变化和部分遮挡。

    Nov, 2018

  • 基于 CNN 的视频帧重要性预测与摘要

    本文提出了一种基于卷积神经网络的用户定向视频摘要生成方法，与传统的基于手工特征的方法相比，通过离线训练得到的权重和偏差使得该系统可以几乎实时地提取视频帧的重要性，实验结果表明该方法在估计视频镜头重要性方面表现优异。

    Aug, 2017

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 使用全卷积序列网络进行视频摘要

    这篇论文探讨了视频摘要的问题，并将其作为一个序列标注问题。优化地选择输入视频的一部分帧以创建一个摘要视频，以最优地捕捉输入视频的重要信息，这提供了一个有用的工具来协助视频检索、浏览等。作者提出使用全卷积序列模型解决视频摘要问题，并通过对普通语义分割网络的改进使之适用于摘要视频的任务。实验结果表明提出的模型具有有效性。

    May, 2018

  • 高效长短时注意力网络用于无监督视频目标分割

    无监督视频对象分割（VOS）旨在识别视频中主要前景对象的轮廓，但以往的方法没有充分利用时空上下文，并且无法在实时中处理这一具有挑战性的任务。因此，本文提出了一种高效的长短时序注意力网络（LSTA），从整体视角解决了无监督 VOS 任务。该网络由长时序记忆和短时序注意力两个主要模块组成，前者通过编码外观模式来捕获过去帧和当前帧的长期全局像素关系，后者通过编码动态模式来揭示附近帧和当前帧的短期局部像素关系。为了加快推理速度，采用了高效投影和基于局部性的滑动窗口，分别实现了两个轻量级模块的几乎线性时间复杂度。在几个基准测试中进行了大量实证研究，证明了所提方法具有高效的有希望的性能。

    Sep, 2023

  • 基于聚类的视频摘要与时序上下文感知

    提出了 TAC-SUM，一种新颖且高效的无需训练的视频摘要方法，它通过融入时间上下文来解决现有基于聚类模型的局限性。该方法将输入视频分割为具有聚类信息的时间连续片段，使时间感知得以注入到聚类过程中，以突出先前的基于聚类的摘要方法。最终，利用结果中的时间感知聚类，采用简单的关键帧选择和帧重要性评分规则计算出最终摘要。在 SumMe 数据集上的实验证明了我们提出方法的有效性，优于现有的无监督方法，并实现了与最先进的有监督摘要技术相当的性能。源代码可在 https://github.com/hcmus-thesis-gulu/TAC-SUM 找到。

    Apr, 2024

  • AttentionNAS: 基于时空注意力单元搜索的视频分类

    提出一种新的用于搜索空间时间关注单元的方法，可以用于改善现有的骨干网络（如 I3D 或 S3D）中的视频分类精度，并在 Kinetics-600 和 MiT 数据集上超过 2％。

    Jul, 2020

  • STFCN：用于语义视频分割的时空 FCN

    本文提出了一种包括时空特征的方法来解决语义视频分割问题，使用卷积神经网络和长短时记忆结构相结合的深度学习模型取得了 Camvid 和 NYUDv2 数据集的最先进语义分割性能。

    Aug, 2016