Mar, 2019

快与慢：基于记忆的移动视频物体检测

PDF
TL;DR本文探讨了通过在计算机视觉系统中使用记忆来改进视频流中的物体检测的精度和减少计算时间的问题。我们通过交替使用传统的特征提取器和极其轻量级的提取器展示了在存在时间记忆的情况下，进行准确检测所需的计算量是非常小的。此外，我们展示了记忆容纳了足够的信息以应用于强化学习算法来学习自适应推断策略。我们的模型在 Imaget VID 2015 数据集上实现了移动方法中的最先进性能，并在 Pixel 3 手机上以 70+ FPS 的速度运行。
human visual systemobject detectioncomputer vision systemsmemoryreinforcement learning
发现论文，激发创造
  • 视频目标检测的记忆增强全局 - 局部聚合

    本文提出一种基于记忆增强的全局局部聚合（MEGA）网络，该网络融合了全局语义信息和局部定位信息，并通过新设计的长期记忆模块让关键帧可以获得比之前任何方法更多的内容，从而在 ImageNet VID 数据集上取得了最先进的性能。

    Mar, 2020

  • 具有时间感知特征图的移动视频物体检测

    本文提出了基于反复卷积结构的在线物体检测模型，并使用瓶颈长短时记忆层来降低计算成本。该模型在移动 CPU 上实现了 15 FPS 的实时推断速度。

    Nov, 2017

  • 人类极简视频对动态识别模型的启示

    研究了人类视觉中空间和时间信息的整合机制，提出了最小视频概念，并发现当前动态视觉识别网络无法重现人类对于整合空间和时间非常有效的能力。

    Apr, 2021

  • MAVOT: 基于内存增强的视频物体跟踪

    该论文提出了一种基于外部记忆的一次学习方法来解决视频物体跟踪问题，可以处理多种复杂情况，并且在 VOT-2016 基准测试中表现良好。

    Nov, 2017

  • 视觉系统的资源高效感知

    应对高分辨率图像处理中的计算挑战，提出了一种利用内存高效的基于块处理的框架，通过全局上下文表示和局部块信息实现对图像内容的全面理解，并在不受内存限制的情况下对超高分辨率图像进行训练，在分类、目标检测和分割等七个基准测试中取得了卓越性能，甚至在像 Jetson Nano 这样的资源受限设备上也能表现出色。

    May, 2024

  • 眼睛与人工智能：视频记忆中的人眼注视与模型关注

    通过使用基于 Transformer 的模型结合了时空注意机制，我们研究了影响视频记忆性的语义和时间注意机制，并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式，并且模型和人类对于物体类别的关注度与记忆性得分有关。此外，该模型模仿了人类在时间上的注意力，对于初始帧更加重视。

    Nov, 2023

  • 利用深度学习在中央凹区图像中学习搜索和检测物体

    研究了利用仿生学注意机制的物体识别方法，通过采用集成注意力、分类和定位的双重任务模型，利用人类注意力系统分辨图像中的感兴趣区域。

    Apr, 2023

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 基于动态记忆网络的视觉追踪

    该研究提出了一种动态记忆网络用于视觉跟踪，能够自适应目标外观变化以提高跟踪准确度，避免模型过度学习，辅助分类损失有助于提升跟踪性能，同时耗时小。

    Jul, 2019

  • 快速视频语义分割的局部内存注意力

    本文提出了一种新颖的神经网络模块，可以将现有的单帧语义分割模型转化为视频语义分割流水线，并将过去帧中的语义信息聚合到内存模块中，并通过关注机制来对其进行访问。通过将这些提示与当前帧的编码进行融合，可以改善 Cityscapes 数据集上的分割性能，并只需增加 1.5ms 的推理时间。

    Jan, 2021