Jun, 2024

无需训练的鲁棒交互式视频目标分割

PDF
TL;DR我们提出了一种无需训练的提示跟踪框架，将稀疏点和框跟踪相结合，采用交叉循环时空模块从多次交互中自适应地聚合引用信息，实现了在流行的 VOS 数据集上稳定的零样本视频分割结果，保持了性能和交互时间之间的良好权衡。
interactive video object segmentationtraining-free prompt tracking frameworksparse points and boxes trackingcross-round space-time modulezero-shot video segmentation
发现论文，激发创造
  • 任意物体的分割及其点追踪

    本文介绍了 SAM-PT 方法，将 SAM 方法扩展至跟踪和分段动态视频中的任何内容，利用强健的和稀疏的点选择和传播技术进行 mask 的生成，并在 DAVIS、YouTube-VOS 和 MOSE 等流行的视频对象分割基准中展示 SAM 基于分割跟踪器可以产生强的零度成像性能。

    Jul, 2023

  • 野外交互式视频对象分割

    本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

    Dec, 2017

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • 视频中实时外科器械分割：基于点跟踪和全能分割

    在这项研究中，我们采用轻量级的 Segment Anything Model (SAM) 变体以满足速度要求，并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级 SAM 模型构建了一个新颖的框架，用于外科器械分割。在 EndoVis 2015 数据集上，定量结果超过了半监督视频对象分割方法的最新水平，并且可以在单个 GeForce RTX 4060 GPU 上以超过 25 FPS 的推理速度运行。

    Mar, 2024

  • 分割和追踪任何事物

    该报告介绍了一种名为 SAMTrack 的框架，它允许用户精确有效地分割和跟踪视频中的任何物体，同时使用多模态交互方法对选择的多个物体进行追踪，可以在无人机技术、自动驾驶、医学成像、增强现实和生物分析等领域中使用。SAM-Track 将交互式关键帧分割模型 SAM 与提出的具有 AOT 的跟踪模型（DeAOT）结合起来，以便在视频中追踪物体，并融合了 Grounding-DINO，使该框架支持基于文本的交互。我们在 DAVIS-2016 Val（92.0％），DAVIS-2017 Test（79.2％）中展示了 SAM-Track 的显着能力，并在实际应用中展现其实用性。

    May, 2023

  • 追踪任何物体：运动物体分割相遇视频

    提出了一种名为 Track Anything Model (TAM) 的模型，它可以在视频中进行高效的交互式跟踪和分割，无需额外的训练，并在视频对象跟踪和分割方面表现出色。

    Apr, 2023

  • 关于分割算法的鲁棒性

    该文讨论使用提示依靠快速学习和收集大规模数据进行目标检测的 Segment anything model (SAM) 是否能够在威胁场景下提供可靠性，发现 SAM 对于多种污染具有显着的鲁棒性，但在受到 PGD 和 BIM 攻击时容易受到影响，因此提出了一系列新任务以提高 SAM 的鲁棒性。

    May, 2023

  • 高质量跟踪任何事物

    HQTrack 是一个面向视频的高质量跟踪框架，主要由视频多目标分割器（VMOS）和掩模细化器（MR）组成，通过 VMOS 将物体掩模传播到当前帧，并利用预训练的 MR 模型来进一步提高跟踪掩模的质量。在 Visual Object Tracking and Segmentation（VOTS2023）挑战中，HQTrack 在不使用任何技巧的情况下，以第二名的成绩取得了显著的效果。

    Jul, 2023

  • 快速准确的在线视频目标分割：通过追踪部位

    本研究提出了一种快速准确的视频目标分割算法，使用一个基于部件跟踪的方法来处理具有大变形、遮挡或杂乱背景的视频，生成部分掩模，最后采用基于相似性得分的函数来完善目标部分。实验结果表明，此算法可在 DAVIS 基准数据集上获得比其他算法更高的分割精度，并实现更快的运行时性能。

    Jun, 2018

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023