Mar, 2018

使用时空采样网络的视频物体检测

PDF
TL;DR本文提出了一个名为 Spatiotemporal Sampling Network (STSN) 的模型，使用了时间上的可变卷积，在视频中进行目标检测。通过从相邻的帧中学习空间采样特征，本文展示了 STSN 具有鲁棒性，并且不需要额外的监督。该模型在 ImageNet VID 数据集上表现优异，并且相比于之前的视频目标检测方法，本文的方法利用了更简单的设计且对于训练没有光流数据的要求。
spatiotemporal sampling networkdeformable convolutionsobject detectionvideosadjacent frames
发现论文，激发创造
  • 基于空间 - 时间对齐记忆的视频物体检测

    本文介绍了一种用于视频目标检测的空间 - 时间记忆网络，其核心是一种新颖的空间 - 时间记忆模块，用于模拟长期的时间外观和动态运动，并提出了一种新的 MatchTrans 模块来解决视频中的物体运动问题。作者的方法在 benchmark ImageNet VID 数据集上取得了最先进的结果，并且文章的实验表明了不同设计选择的贡献。

    Dec, 2017

  • 视频对象分割的时空图神经网络基于遮罩重建

    该研究提出了一种新型的时空图神经网络（STG-Net）方法，它通过利用所有 Object Proposals 并捕捉它们之间的关联来更精确地重建视频对象分割的遮罩，并通过滑动窗口方法以及记忆模型来捕捉时态相关信息。该方法在四个大型数据集上实现了最新的表现，并展示了其有效性。

    Dec, 2020

  • 学习关注焦点以实现高效视频目标检测

    提出了一种基于可学习的空间 - 时间采样 (LSTS) 模块、分散递归特征更新 (SRFU) 和密集特征聚合 (DFA) 模块，实现了视频目标检测中的准确空间对应关系，增强特征更新，提升检测性能，并在 ImageNet VID 数据集上取得了最先进的表现和实时速度。

    Nov, 2019

  • 具有时间感知特征图的移动视频物体检测

    本文提出了基于反复卷积结构的在线物体检测模型，并使用瓶颈长短时记忆层来降低计算成本。该模型在移动 CPU 上实现了 15 FPS 的实时推断速度。

    Nov, 2017

  • StNet：行动识别的局部和全局空时建模

    本文提出了一种新的空时网络（StNet）架构来进行局部和全局的空时建模，通过将 N 个连续的视频帧堆叠成一个超级图像，并对超级图像应用二维卷积来捕获局部空时关系，再对局部空时特征映射应用时间卷积来建模全局空时关系，该方法在动作识别方面优于现有技术，也在模型复杂度和准确度之间取得了理想的平衡，实验结果表明该方法可以广泛应用于视频表示的学习。

    Nov, 2018

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • 使用管段提案网络进行视频目标检测

    该研究提出了一种基于 tubelet 提案网络和 LSTM 网络的视频对象检测框架，以在视频中高效地生成空间时间提案并融合时间信息以实现高精度的对象检测。

    Feb, 2017

  • 单次拍摄视频目标检测器

    本文介绍了一种用于视频中物体检测的新架构 SSVD，通过对相邻帧的特征进行聚合和估算运动路径，实现了单阶段物体检测。在 ImageNet VID 数据集上进行的实验证明，该方法比现有的物体检测方法更为有效。

    Jul, 2020

  • 全卷积孪生网络用于目标跟踪

    使用 ILSVRC15 数据集训练的全卷积 Siamese 网络在视频中实现物体检测和追踪，取得了多项基准测试中的最优性能。

    Jun, 2016

  • 基于时空可变注意力的乳腺病变视频检测框架

    通过引入空间 - 时间变形注意力模块实现局部空间 - 时间特征融合，本研究提出的 STNet 在每个编码器和解码器阶段都能有效地进行深度特征聚合，同时引入编码器特征洗牌策略提高多帧预测的检测速度。实验结果显示，STNet 在公共乳腺病变超声视频数据集上达到最先进的检测性能，同时有两倍的推理速度。

    Sep, 2023