Aug, 2020

探索用于实时视频显著性目标检测的丰富和高效的时空交互

PDF
TL;DR本文提出了一种新颖的时空网络来提高视频显著性检测的性能，通过将轻量级的时间模型整合到空间分支中，粗略定位与值得信赖的显著运动相关的空间显著区域，同时，空间分支本身能够多尺度地反复改善时间模型，从而使空间和时间分支能够互相交互，实现相互性能提高。我们的方法易于实现且有效，在实时速度下以 50 FPS 实现高质量的视频显著性检测。
video saliencyspatiotemporal networktemporal branchspatial branchperformance improvement
发现论文，激发创造
  • 基于全卷积网络的视频显著对象检测

    本文提出了一个深度学习模型，通过数据增强技术和动态显著性模型来高效地检测视频中的显著区域，该模型在 DAVIS 和 FBMS 数据集上达到了最新的性能标准。

    Feb, 2017

  • 动态显著性预测的时空显著性网络

    本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

    Jul, 2016

  • 视频目标分割的时空卷积神经网络

    本文提出了一种统一的、端到端可训练的时空卷积神经网络模型，用于视觉目标分割，包括时间一致分支和空间分割分支，并以优化的方式使用未标记的视频数据从中预训练时空一致性分支，以捕获视频序列的动态外观和运动线索引导对象分割。

    Apr, 2019

  • 基于时空显著性检测器的无监督视频分析

    本研究基于频谱分析提出了一种新方法，可用于检测视频中的时间空间视觉显著性，具有高效和易于实现的特点；并且探讨了这种显著性如何应用于检测异常情况和兴趣点，实验结果证明了该方法在这些任务中的有效性。

    Mar, 2015

  • TSI：用于视频动作识别的时间显著性整合

    本文提出了一种基于 Temporal Saliency Integration (TSI) 块的运动识别方法，其中主要包含了 Salient Motion Excitation (SME) 模块和 Cross-perception Temporal Integration (CTI) 模块，通过这两个模块，可以高效地编码长短时序关系。

    Jun, 2021

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 深度多尺度时空判别性显著图的非刚性物体跟踪

    提出了一种基于时空一致的显著性检测的新型有效的非刚性物体跟踪框架，其中利用了定制的完全卷积神经网络 (TFCN) 来建模该图像区域的本地显著性先验，同时提出了多尺度多区域机制来生成本地显著性地图，最后，利用预测的显著性地图，提出了一个非刚性物体跟踪算法，该算法在显著性检测和视觉跟踪方面都取得了竞争性的性能。

    Feb, 2018

  • 面向高效视频识别的时间显著性查询网络

    提出一种新的时序显著性查询机制，引入类别特定信息为显著性测量提供精细线索，并在 TSQNet 中实现了两种检索机制和跨模态交互，从而解决现有技术对类别的不确定性和上下文缺失等问题，并在 ActivityNet，FCVID 和 Mini-Kinetics 数据集上获得了最好的成果。

    Jul, 2022

  • 视频目标分割的时空多层关联

    该研究提出了一种空间 - 时间多层次关联框架，以解决现有半监督视频对象分割方法在空间特征匹配和时空特征建模方面的限制，并通过空间 - 时间记忆库实现充分的目标交互和高效的并行处理，从而提高视频对象分割的效果。

    Apr, 2024

  • 时空关注的两流协同学习用于视频分类

    本论文提出了一种适用于视频分类的两流协作学习方法，采用空间 - 时间注意力模型实现了针对视频中静态和动态信息的协同学习，以提取出区分度更强的特征向量，实验结果表明，该方法在各项性能指标上均优于其他 10 多种最先进的方法。

    Nov, 2017