Mar, 2019

逐步稀疏的局部注意力在视频物体检测中的应用

PDF
TL;DR该论文提出了一种名为 PSLA 的新型模块，它通过逐步稀疏的步幅在局部区域内建立跨帧特征间的空间对应关系，并使用这个对应关系来传播特征。基于 PSLA，提出了 RFU 和 DenseFT 来分别建模时间外观和丰富特征表示，进而构建了一种新型的视频目标检测框架。实验表明，该方法在模型大小更小、运行时间可接受的情况下取得了最佳准确度。
video object detectionspatial correspondencesparse local attentionrecursive feature updatingdense feature transforming
发现论文，激发创造
  • 学习关注焦点以实现高效视频目标检测

    提出了一种基于可学习的空间 - 时间采样 (LSTS) 模块、分散递归特征更新 (SRFU) 和密集特征聚合 (DFA) 模块，实现了视频目标检测中的准确空间对应关系，增强特征更新，提升检测性能，并在 ImageNet VID 数据集上取得了最先进的表现和实时速度。

    Nov, 2019

  • 基于点监督的弱监督视频显著目标检测

    本文提出了一种基于点监督的强基线模型，通过挖掘短期和长期视角的帧间互补信息来推断具有时间信息的显着性图，并采用混合令牌注意模块和长期交叉帧注意模块分别实现。实验结果表明，该方法优于以前的最先进的弱监督方法，甚至可以与一些全监督方法媲美。

    Jul, 2022

  • 面向移动设备的高性能视频目标检测

    本文提出了一种轻量级的视频物体检测网络，采用稀疏关键帧上的轻量级图像物体探测器进行检测，并在关键帧上应用基于流量引导的 GRU 模块，对特征进行有效聚合。对于非关键帧，进行稀疏特征传播。该系统在移动设备上运行速度较快，在 HuaWei Mate 8 上可达到 60.2％的 mAP 得分以及 25.6 fps 的速度。

    Apr, 2018

  • DeVOS: 流引导的可变形变压器用于视频对象分割

    结合基于记忆的匹配和运动引导传播的 DeVOS（可变形视频对象分割）架构，用于视频对象分割，实现稳定的长期建模和强大的时间一致性。

    May, 2024

  • 视频去模糊的流引导稀疏变压器

    本文提出了一种新的视频去模糊框架，Flow-Guided Sparse Transformer（FGST），基于自注意力模块，使用光学流矫正模糊，并采用重复嵌入机制加强长时间依赖关系，结果表明 FGST 在 DVD 和 GOPRO 数据集上明显优于现有方法。

    Jan, 2022

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • SSVOD：带有稀疏标注的半监督视频物体检测

    通过利用视频的动态运动特性，我们引入了 SSVOD，一个端到端的半监督视频目标检测框架，以利用大规模未标记的帧和稀疏注释来选择性地组装鲁棒的伪标签，并通过结合硬伪标签和软伪标签的置信度阈值进行伪标签的确认偏见和不确定性噪声的平衡，从而在 ImageNet-VID，Epic-KITCHENS 和 YouTube-VIS 数据集上实现了显著的性能改进。

    Sep, 2023

  • 高效视频识别的自适应对焦

    本文探讨了视频识别中的空间冗余问题，提出了一种基于强化学习的自适应空间视频识别方法（AdaFocus），通过在一个小图像块的空间序列上采用高效的卷积神经网络和循环决策网络来定位和选择最相关的区域，以提高计算效率和精度。

    May, 2021

  • 基于流引导的视频目标检测特征聚合

    该研究提出了一种基于流引导特征聚合的视频物体检测学习框架，该框架通过沿着运动路径聚合邻近特征来提高视频的识别精度，避免了视频中物体外观退化的问题，并且完全可训练，与 ImageNet VID 挑战的最佳工程系统相当

    Mar, 2017

  • 使用伪标签的半监督视频显著目标检测

    本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

    Aug, 2019