Mar, 2024

视频伪装目标检测中的明确动作处理和交互提示

PDF
TL;DR提出了一种新颖的显式动作处理和交互提示框架（EMIP），用于视频伪装目标检测（VCOD）。该框架利用预训练的光流基础模型，通过双流架构实现伪装分割和光流估计，并通过交互提示方式增强两个流的输出。实验结果表明，EMIP 在流行的 VCOD 基准上取得了新的最先进记录。
camouflaged object detectionvideomotion cuesinteractive promptingoptical flow
发现论文，激发创造
  • 视频伪装目标检测隐式运动处理

    提出了一种新的视频伪装目标检测 (VCOD) 框架，可以利用短期动态和长期时间一致性来检测视频帧中的伪装目标，采用单一优化框架统一了运动估计和对象分割，并使用空间 - 时间变换器从而有效地处理视频的时间动态，提供了一个名为 MoCA-Mask 的大规模 VCOD 数据集，为该方向的研究建立了综合性的基准测试。

    Mar, 2022

  • TokenMotion: 基于可学习的令牌选择的运动引导视觉变换器用于视频伪装物体检测

    介绍了一种基于 Transformer 模型的 TokenMotion（TMNet），通过可学习的令牌选择提取运动引导特征，提升视频伪装对象检测的性能，在具有挑战性的 MoCA-Mask 数据集上，TMNet 在 VCOD 中实现了最先进的性能，加权 F-measure 提高了 12.8％，S-measure 提高了 8.4％，平均 IoU 提升了 10.7％，结果表明利用运动引导特征和可学习的令牌选择能够解决复杂的 VCOD 任务。

    Nov, 2023

  • 运动背叛：通过运动分割发现伪装的物体

    设计了一种计算机体系结构，利用运动信息进行物体分割以发现视频中的伪装对象，并在大规模的 MoCA 视频数据集上证明了其有效性。

    Nov, 2020

  • 基于 EM 算法的非监督学习在高效运动分割中的应用

    本文提出了一种基于卷积神经网络 (CNN) 的完全无监督的运动分割方法，借鉴了期望最大化算法 (EM) 框架用于设计不需要地面真值或手动标注的运动分割神经网络的损失函数和训练过程，能够通过单一推断步骤为任何看不见的光流场提供分割，并能有效地处理多个运动。

    Jan, 2022

  • 通用前景分割的显式视觉提示

    该论文提出了一个基于预训练及显式视觉提示（EVP）的统一框架，用于多个前景分割任务，其性能优于全调参及其他节约参数细调的方法，并展示了该方法在不同架构、预训练权重和任务上的可扩展性。

    May, 2023

  • SAM-PM: 基于时空注意力的视频隐蔽物体检测增强

    提出了一种新的方法，即 SAM 传播模块（SAM-PM），通过采用时空交叉注意机制在 SAM 中实施时间一致性，将时间一致性和领域专业知识有效地融入分割网络，只增加了不到 SAM 参数的 1％，与最新的最先进技术相比，在 VCOD 基准测试中实现了显著性能改进。

    Jun, 2024

  • 基于视觉光流蒸馏的自动驾驶端到端可解释运动规划学习

    该研究提出了一种基于端到端视觉的自主驾驶轨迹规划方法，使用生成的鸟瞰图中的未来语义地图进行路径规划，增强了自动驾驶的安全性和解释性。

    Apr, 2021

  • 流动中的观察：使用动作提示学习来适应 CLIP 的动作识别

    通过对视频帧中的运动线索进行建模、利用动态提示学习器生成与人类动作相关的运动感知提示并通过多模态交流模块实现协作学习，我们的方法在少样本学习和零样本学习中具有显著优势，并在少参数和额外计算成本的条件下实现了竞争性性能。

    Aug, 2023

  • 利用深度学习的光流生成移动物体候选框进行视频物体分割

    本研究提出了一种先进的神经网络结构，通过训练无监督的卷积神经网络对光流进行估计，然后将光流网络的输出渲染到完全卷积 SegNet 模型中，从而准确高效地获取运动目标提案。

    Feb, 2024

  • 模块化交互式视频物体分割：交互到掩膜，传播和差异感知融合

    提出了一种基于交互的显著性目标分割框架 MiVOS，由交互模块和传播模块组成；其中交互模块实现用户交互和目标分割的转换，而传播模块则采用一种新颖的 top-k 过滤策略，结合时空记忆进行时序传播，并提出了一种差异感知模块以有效地将前后交互的掩模融合，最终在 DAVIS 数据集上取得了优异的表现。

    Mar, 2021