Mar, 2018

具有注意力机制 LSTM 的时间感知 SSD

PDF
TL;DR本论文提出了一种基于注意机制和卷积长短时记忆（ConvLSTM）的时序单次检测器（TSSD），以实现视频中的实时在线目标检测。采用 ConvLSTM 来集成时间金字塔特征层次，并使用一个低级时序单元和一个高级单元来设计新颖的结构（LH-TU）进行多尺度特征图。关注 ConvLSTM（AC-LSTM）的创新时间分析单元被设计为时间上的背景抑制和尺度抑制，并跨时间集成具有关注注意力的特征。此外，针对时间一致性设计了联合损失和多步训练。最后，利用在线管道分析（OTA）进行识别。评估结果证明，该方法在检测和跟踪性能方面具有优势。
temporal object detectionattention mechanismconvlstmreal-time online detectionmulti-scale feature maps
发现论文，激发创造
  • 具有时间感知特征图的移动视频物体检测

    本文提出了基于反复卷积结构的在线物体检测模型，并使用瓶颈长短时记忆层来降低计算成本。该模型在移动 CPU 上实现了 15 FPS 的实时推断速度。

    Nov, 2017

  • 基于空间 - 时间对齐记忆的视频物体检测

    本文介绍了一种用于视频目标检测的空间 - 时间记忆网络，其核心是一种新颖的空间 - 时间记忆模块，用于模拟长期的时间外观和动态运动，并提出了一种新的 MatchTrans 模块来解决视频中的物体运动问题。作者的方法在 benchmark ImageNet VID 数据集上取得了最先进的结果，并且文章的实验表明了不同设计选择的贡献。

    Dec, 2017

  • 在线实时多时空动作本地化和预测

    本研究提出了一个深度学习框架，可实时进行多个时空动作的本地化、分类和早期预测，通过实时的 SSD 卷积神经网络进行回归和分类检测，再通过一个高效的在线算法构建和标记动作管道以进行实时分析，对于 S/T 动作本地化和早期动作预测在 UCF101-24 和 J-HMDB-21 测试基准中均取得了最新的最佳结果，即使与顶级离线竞争对手相比，我们的系统也可以实现 40fps 的在线 S/T 动作本地化和早期动作预测，本文是首个实现此功能的实时系统。

    Nov, 2016

  • 基于卷积神经网络单目标跟踪器与时空注意力机制的在线多目标跟踪

    本文提出了一种基于 CNN 的框架，用于在线多目标跟踪，并引入了空间 - 时间注意机制处理 Occlusion 问题，从而实现在 MOT15 和 MOT16 基准数据集上 34.3% 到 46.0% 的多目标跟踪性能。

    Aug, 2017

  • 高效长短时注意力网络用于无监督视频目标分割

    无监督视频对象分割（VOS）旨在识别视频中主要前景对象的轮廓，但以往的方法没有充分利用时空上下文，并且无法在实时中处理这一具有挑战性的任务。因此，本文提出了一种高效的长短时序注意力网络（LSTA），从整体视角解决了无监督 VOS 任务。该网络由长时序记忆和短时序注意力两个主要模块组成，前者通过编码外观模式来捕获过去帧和当前帧的长期全局像素关系，后者通过编码动态模式来揭示附近帧和当前帧的短期局部像素关系。为了加快推理速度，采用了高效投影和基于局部性的滑动窗口，分别实现了两个轻量级模块的几乎线性时间复杂度。在几个基准测试中进行了大量实证研究，证明了所提方法具有高效的有希望的性能。

    Sep, 2023

  • 使用管段提案网络进行视频目标检测

    该研究提出了一种基于 tubelet 提案网络和 LSTM 网络的视频对象检测框架，以在视频中高效地生成空间时间提案并融合时间信息以实现高精度的对象检测。

    Feb, 2017

  • 面向视觉物体跟踪的空间监督循环卷积神经网络

    本文提出了一种新的空间监督递归卷积神经网络，用于视觉对象跟踪，通过研究长短期记忆和区域信息的回归能力，结合卷积网络产生的高层视觉特征直接预测跟踪位置，相较于现有的深度学习跟踪器，我们的跟踪器在保持低计算成本的同时更加准确和鲁棒，实验结果表明在多个数据集上均表现优异，常常优于排名第二的跟踪器。

    Jul, 2016

  • 使用时空采样网络的视频物体检测

    本文提出了一个名为 Spatiotemporal Sampling Network (STSN) 的模型，使用了时间上的可变卷积，在视频中进行目标检测。通过从相邻的帧中学习空间采样特征，本文展示了 STSN 具有鲁棒性，并且不需要额外的监督。该模型在 ImageNet VID 数据集上表现优异，并且相比于之前的视频目标检测方法，本文的方法利用了更简单的设计且对于训练没有光流数据的要求。

    Mar, 2018

  • 单次拍摄的时间动作检测

    该研究提出了一种基于 1D 时间卷积层的单次动作检测器（SSAD）网络来直接检测未修剪视频中的动作实例以提高检测精度。在改进检测精度的过程中，它探讨了输入特征类型和融合策略，并在两个具有挑战性的数据集上进行了广泛的实验，证明了在 THUMOS 2014 和 MEXaction2 的评估过程中，SSAD 的 mAP 比其他最先进的系统增加了很多。

    Oct, 2017

  • 具有时间平滑 Transformer 的实时在线视频检测

    通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核，重新定义流式视频识别模型，拥有常数时间更新每帧的优势，在 THUMOS'14 和 EPIC-Kitchen-100 数据集上取得了最新的成果。

    Sep, 2022