May, 2023

分割和追踪任何事物

PDF
TL;DR该报告介绍了一种名为 SAMTrack 的框架，它允许用户精确有效地分割和跟踪视频中的任何物体，同时使用多模态交互方法对选择的多个物体进行追踪，可以在无人机技术、自动驾驶、医学成像、增强现实和生物分析等领域中使用。SAM-Track 将交互式关键帧分割模型 SAM 与提出的具有 AOT 的跟踪模型（DeAOT）结合起来，以便在视频中追踪物体，并融合了 Grounding-DINO，使该框架支持基于文本的交互。我们在 DAVIS-2016 Val（92.0％），DAVIS-2017 Test（79.2％）中展示了 SAM-Track 的显着能力，并在实际应用中展现其实用性。
发现论文，激发创造
  • 追踪任何物体：运动物体分割相遇视频

    提出了一种名为 Track Anything Model (TAM) 的模型，它可以在视频中进行高效的交互式跟踪和分割，无需额外的训练，并在视频对象跟踪和分割方面表现出色。

    Apr, 2023

  • 视频中实时外科器械分割：基于点跟踪和全能分割

    在这项研究中，我们采用轻量级的 Segment Anything Model (SAM) 变体以满足速度要求，并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级 SAM 模型构建了一个新颖的框架，用于外科器械分割。在 EndoVis 2015 数据集上，定量结果超过了半监督视频对象分割方法的最新水平，并且可以在单个 GeForce RTX 4060 GPU 上以超过 25 FPS 的推理速度运行。

    Mar, 2024

  • 任意物体的分割及其点追踪

    本文介绍了 SAM-PT 方法，将 SAM 方法扩展至跟踪和分段动态视频中的任何内容，利用强健的和稀疏的点选择和传播技术进行 mask 的生成，并在 DAVIS、YouTube-VOS 和 MOSE 等流行的视频对象分割基准中展示 SAM 基于分割跟踪器可以产生强的零度成像性能。

    Jul, 2023

  • 无需训练的鲁棒交互式视频目标分割

    我们提出了一种无需训练的提示跟踪框架，将稀疏点和框跟踪相结合，采用交叉循环时空模块从多次交互中自适应地聚合引用信息，实现了在流行的 VOS 数据集上稳定的零样本视频分割结果，保持了性能和交互时间之间的良好权衡。

    Jun, 2024

  • 零样本眼部特征分割的 Segment Anything Model (SAM)

    Segment Anything Model (SAM) 是第一个用于图像分割的基础模型，本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明，SAM 的分割效果可以与专门模型相媲美，且使用提示工具可以提高其性能，示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法，革新注视估计领域，减少对专门模型和繁琐手动标注的依赖。

    Nov, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 自动图像数据标注的分段模型：基于 Grounding DINO 的文本提示的实证研究

    通过对八个公开数据集的实证研究，揭示了参考表达理解 (REC) 框架在特定领域中存在的预测错误问题，并提出了一种简单的策略来减轻这些错误，进而改进了基于 REC 的检测和自动分割，同时报告了在多个专业领域中使用 SAM 技术进行分割的性能显著提高和节省注释时间。

    Jun, 2024

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 高质量跟踪任何事物

    HQTrack 是一个面向视频的高质量跟踪框架，主要由视频多目标分割器（VMOS）和掩模细化器（MR）组成，通过 VMOS 将物体掩模传播到当前帧，并利用预训练的 MR 模型来进一步提高跟踪掩模的质量。在 Visual Object Tracking and Segmentation（VOTS2023）挑战中，HQTrack 在不使用任何技巧的情况下，以第二名的成绩取得了显著的效果。

    Jul, 2023