Apr, 2024

运动物体分割：只需 SAM（和 Flow）

PDF
TL;DR通过将光流与 Segment Anything 模型 (SAM) 结合，本文研究了两种模型，一种使用光流作为输入，另一种使用 RGB 作为输入，这两种简单的方法在单个和多个物体分割基准测试中，凭借其出色的性能超过了所有先前的方法，同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。
motion segmentationsegment anything model (sam)optical flowrgbvideo object segmentation
发现论文，激发创造
  • UnSAMFlow: 由分割任意模型指导的无监督光流

    我们提出了一种利用最新的基础模型 Segment Anything Model（SAM）的非监督流网络 UnSAMFlow，通过加入适应 SAM 蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块，能够在对象周围生成清晰的光流估计，优于 KITTI 和 Sintel 数据集上的最先进方法，并且在跨领域上具有很好的泛化能力且运行效率高。

    May, 2024

  • SAMFlow：消除光流中的任何碎片化问题的分段整体模型

    提出了 SAMFlow 模型，将 Segment Anything Model (SAM) 的图像编码器嵌入 FlowFormer，通过光流任务特定的适应方案来增强物体感知，解决了光流估计中的片段化问题，并在 Sintel 和 KITTI-15 数据集上取得了排名第一的最先进表现。

    Jul, 2023

  • 在视频数据中传播语义标签

    通过结合基于 SfM 的 SAM 模型将视频中的目标进行分割和跟踪的方法，提出一种减少手动注释工作量的视频对象跟踪系统。系统性能经过计算时间、与手动标签的掩码 IOU 和跟踪损失数量等三个指标的评估，结果表明该系统在跟踪视频帧中的物体方面较人工表现有显著计算时间改善，但在性能上存在一定程度的退化。

    Oct, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 通过运动分组的自监督视频目标分割

    本研究介绍了一种基于运动线索的分割方法，使用 Transformer 网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。

    Apr, 2021

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • 移动单目相机的运动分割

    本研究讨论了利用点轨迹和光流等方法相互融合，在移动的单目摄像头中识别和分割运动物体，实现对复杂场景中不同对象运动的模拟，最终取得了最先进的效果。

    Sep, 2023

  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 一个概率模型：基于因果关系的移动相机视频运动分割

    本研究基于第一原理推导出新的似然函数，使用角度和光流大小的新组合来最大化关于物体真实运动的信息，开发了一种运动分割算法，比当前最先进的方法提高了很大的准确率，并在两个已建立的基准测试和一个新的伪装动物数据集上进行了对比。

    Apr, 2016

  • UVOSAM: 无需蒙版的无监督视频对象分割范式，通过任意分割模型实现

    UVOSAM 是一种新的无监督视频对象分割范例，利用 Segment Anything Model 和视频显著对象跟踪网络来生成显着前景对象的轨迹作为提示来对每一帧视频进行对象分割。实验结果显示，UVOSAM 显著优于当前基于标记方法的分割方法。

    May, 2023