CVPRMar, 2022

视频伪装目标检测隐式运动处理

PDF
TL;DR提出了一种新的视频伪装目标检测 (VCOD) 框架，可以利用短期动态和长期时间一致性来检测视频帧中的伪装目标，采用单一优化框架统一了运动估计和对象分割，并使用空间 - 时间变换器从而有效地处理视频的时间动态，提供了一个名为 MoCA-Mask 的大规模 VCOD 数据集，为该方向的研究建立了综合性的基准测试。
video camouflaged object detectiontemporal consistencymotion estimationobject segmentationmoca-mask dataset
发现论文，激发创造
  • 视频伪装目标检测中的明确动作处理和交互提示

    提出了一种新颖的显式动作处理和交互提示框架（EMIP），用于视频伪装目标检测（VCOD）。该框架利用预训练的光流基础模型，通过双流架构实现伪装分割和光流估计，并通过交互提示方式增强两个流的输出。实验结果表明，EMIP 在流行的 VCOD 基准上取得了新的最先进记录。

    Mar, 2024

  • TokenMotion: 基于可学习的令牌选择的运动引导视觉变换器用于视频伪装物体检测

    介绍了一种基于 Transformer 模型的 TokenMotion（TMNet），通过可学习的令牌选择提取运动引导特征，提升视频伪装对象检测的性能，在具有挑战性的 MoCA-Mask 数据集上，TMNet 在 VCOD 中实现了最先进的性能，加权 F-measure 提高了 12.8％，S-measure 提高了 8.4％，平均 IoU 提升了 10.7％，结果表明利用运动引导特征和可学习的令牌选择能够解决复杂的 VCOD 任务。

    Nov, 2023

  • 运动背叛：通过运动分割发现伪装的物体

    设计了一种计算机体系结构，利用运动信息进行物体分割以发现视频中的伪装对象，并在大规模的 MoCA 视频数据集上证明了其有效性。

    Nov, 2020

  • SAM-PM: 基于时空注意力的视频隐蔽物体检测增强

    提出了一种新的方法，即 SAM 传播模块（SAM-PM），通过采用时空交叉注意机制在 SAM 中实施时间一致性，将时间一致性和领域专业知识有效地融入分割网络，只增加了不到 SAM 参数的 1％，与最新的最先进技术相比，在 VCOD 基准测试中实现了显著性能改进。

    Jun, 2024

  • 隐蔽物品检测

    本研究提出了针对被隐藏物体的检测任务，提供了名为 COD10K 的大型数据集，涵盖 78 个物体类别的 10,000 个来自不同真实场景的图像，并提供了详细的注释。其中，Search Identification Network（SINet）是一种简单但强大的基线用于 COD，并在测试的所有数据集上击败了 12 个前沿基线。

    Feb, 2021

  • 开放词汇伪装物体分割

    最近，大规模视觉语言模型（VLM）的出现，如 CLIP，为开放世界的物体感知打开了道路。我们提出了一个新的任务，开放词汇伪装的物体分割（OVCOS），并构建了一个包含 11,483 个精选图像和细粒度注释的大规模复杂场景数据集（OVCamo）。通过集成类别语义知识的指导和依赖边缘和深度信息的视觉结构线索的补充，所提出的方法可以有效地捕捉伪装对象。此外，这个有效的框架在我们的 OVCamo 数据集上也超过了先前状态 - of-the-art 的开放词汇语义图像分割方法。借助提出的数据集和基线，我们希望这个具有更多实际价值的新任务能进一步扩展开放词汇密集预测任务的研究。

    Nov, 2023

  • 利用时间一致性进行高效的单阶段视频目标检测

    我们提出了一个简单而高效的框架，通过利用视频帧中的时间一致性来解决计算上的瓶颈，从而实现了具有高效性的单阶段视频目标检测。

    Feb, 2024

  • 协作伪装对象检测：大规模数据集和基准测试

    全文提供了对一项名为协作伪装目标检测（CoCOD）的新任务的全面研究，其目的是同时从一组相关图像中检测具有相同属性的伪装目标。为此，我们细致地构建了首个大规模数据集 CoCOD8K，该数据集包含 8528 张高质量且精选图像，带有目标遮罩注释，覆盖 5 个超类别和 70 个子类别。该数据集涵盖了各种自然和人工伪装场景，具有多样的目标外观和背景，因此对于 CoCOD 来说是一个非常具有挑战性的数据集。此外，我们提出了 CoCOD 的首个基准模型，名为双向分支网络（BBNet），该模型分别在单个图像内和图像组内探索和整合共伪装线索，以实现对给定图像中伪装目标的准确检测。这是通过一种图像间协作特征探索（CFE）模块、一种图像内目标特征搜索（OFS）模块和一种局部 - 全局细化（LGR）模块实现的。我们在提议的 CoCOD8K 数据集上对 18 种最先进的模型进行了性能评估，其中包括 12 种 COD 算法和 6 种 CoSOD 算法，采用了 5 种广泛使用的评估指标。广泛的实验表明了所提出方法的有效性以及与其他竞争方法相比显著更优越的性能。我们希望我们提出的数据集和模型能够促进 COD 社区的发展。该数据集、模型和结果将可在此网址获取: https://this-URL

    Oct, 2023

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • SSVOD：带有稀疏标注的半监督视频物体检测

    通过利用视频的动态运动特性，我们引入了 SSVOD，一个端到端的半监督视频目标检测框架，以利用大规模未标记的帧和稀疏注释来选择性地组装鲁棒的伪标签，并通过结合硬伪标签和软伪标签的置信度阈值进行伪标签的确认偏见和不确定性噪声的平衡，从而在 ImageNet-VID，Epic-KITCHENS 和 YouTube-VIS 数据集上实现了显著的性能改进。

    Sep, 2023