ICCVAug, 2023

物体不消失：通过单帧物体位置预测的视频物体检测

PDF
TL;DR通过利用连续平滑的运动，我们在三个方面进行了改进：1）通过将对象运动作为额外的监督来源，从静态关键帧中预测对象位置来提高准确性。2）通过仅在少量帧中进行昂贵的特征计算来提高效率。3）通过仅注释关键帧并利用关键帧之间的平滑伪运动来减少注释成本。我们在四个数据集上展示了计算效率、注释效率和改进的均值平均精度，分别是 ImageNet VID，EPIC KITCHENS-55，YouTube-BoundingBoxes 和 Waymo Open dataset。我们的源代码可在此 https URL 找到。
continuous smooth motionaccuracyefficiencyannotation costmean average precision
发现论文，激发创造
  • 高性能视频目标检测

    本文探讨了基于多帧端到端学习特征和帧间运动的统一方法，该方法扩展了之前的研究并引入了三个新技术来提高视频物体检测性能。

    Nov, 2017

  • 视频目标检测的鲁棒高效后处理

    本文提出了一种基于学习相似度评估的后处理方法，它可以克服先前后处理方法的一些局限性，提高特定视频检测器的结果，特别是在快速运动物体方面，并具有低资源要求。该方法还可以应用于像 YOLO 这样的高效静态图像检测器，提供与计算量更大的检测器相当的结果。

    Sep, 2020

  • 利用物体运动预测实现未来视频合成

    利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

    Apr, 2020

  • 物体级别视频分割的物体检测、跟踪和运动分割

    该论文提出了一种用于视频中物体分割的方法，结合了帧级物体检测与物体跟踪、运动分割等概念，提取了基于现成检测器的时间一致性物体管，结合运动线索提供视频分割，克服了弱监督 / 无监督视频分割的典型问题，并提供每个对象的精确、时间一致的分割。

    Aug, 2016

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 上下文问题：用递归神经网络提升视频中的物体检测

    该论文提出了一种新的框架，通过捕捉时间空间和鼓励预测一致性来提高视频中的目标检测表现，并融合了强、弱监督的训练方式和平滑性惩罚，提高了 Youtube-Video Objects 数据集上的平均精度（mAP）。

    Jul, 2016

  • 基于序列非极大值抑制的视频目标检测

    本文将视觉目标检测中的三个阶段进行了修改，采用了从相邻帧提取高得分目标检测的方法来增强同一剪辑中弱目标检测的得分，并获得了比现有技术更好的结果。该方法在 ImageNet 大规模视觉识别挑战赛 2015 年的视频目标检测（VID）任务中取得了第三名。

    Feb, 2016

  • 高质量物体链接的视频目标检测

    本研究介绍了一种新的视频目标检测方法，采用时序上下文方法来链接同一对象，从而提高分类准确率。该方法在 ImageNet VID 数据集上的表现优于静态图像检测器和先前的最新技术。

    Jan, 2018

  • 通过预测物体移动来学习时间线索的多摄像头三维物体检测

    在自动驾驶和机器人技术中，利用短期历史数据增强多摄像头 3D 物体检测的兴趣日益增长，通过利用输入视频流的连续且相关性质来实现。最近的研究集中在基于 BEV（鸟瞰图）的特征在时间步内的空间对齐上。然而，由于长期过去的观测没有良好的扩展效果，这方面的工作通常受限。为了解决这个问题，我们提出了一种名为 DAP（预测后检测）的模型，包括两个分支网络：（一）一个分支负责根据过去的观测预测当前物体的位置，（二）另一个分支基于当前和过去的观测来检测物体。从分支（一）预测当前物体的特征被融合到分支（二）中以传递预测性知识。我们在大规模的 nuScenes 数据集上进行了广泛的实验，并观察到利用这种预测信息显著提高了整体检测性能。我们的模型可以即插即用，表现出一致的性能提升。

    Apr, 2024

  • 学习目标不变的物体跟踪

    该论文提出了一种端到端可训练的方法，结合物体检测和跟踪，并引入了序列记忆模块，使其更好地处理多物体跟踪，尤其是遮挡的情况。经过大规模的合成数据和实际测试，在 KITTI 和 MOT17 数据集上取得了最先进的性能表现。

    Mar, 2021