通过分割实现任意事物的匹配
本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起,引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法,以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能,并与之前的最先进方法竞争力十足,旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。
Dec, 2023
介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
本文介绍了 SAM-PT 方法,将 SAM 方法扩展至跟踪和分段动态视频中的任何内容,利用强健的和稀疏的点选择和传播技术进行 mask 的生成,并在 DAVIS、YouTube-VOS 和 MOSE 等流行的视频对象分割基准中展示 SAM 基于分割跟踪器可以产生强的零度成像性能。
Jul, 2023
提出了一种名为 Track Anything Model (TAM) 的模型,它可以在视频中进行高效的交互式跟踪和分割,无需额外的训练,并在视频对象跟踪和分割方面表现出色。
Apr, 2023
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递,实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升,并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
Mar, 2024
通过将光流与 Segment Anything 模型 (SAM) 结合,本文研究了两种模型,一种使用光流作为输入,另一种使用 RGB 作为输入,这两种简单的方法在单个和多个物体分割基准测试中,凭借其出色的性能超过了所有先前的方法,同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。
Apr, 2024
多类多实例分割是识别图像中多个对象类别和同一类别的多个实例的任务,提出了一种新颖的领域不变的通过真实 - 模拟 (Pseudo-Real) 微调策略来改善多类多实例分割模型的性能,尤其在室内场景理解方面表现出良好的泛化性能。
Mar, 2024
通过结合基于 SfM 的 SAM 模型将视频中的目标进行分割和跟踪的方法,提出一种减少手动注释工作量的视频对象跟踪系统。系统性能经过计算时间、与手动标签的掩码 IOU 和跟踪损失数量等三个指标的评估,结果表明该系统在跟踪视频帧中的物体方面较人工表现有显著计算时间改善,但在性能上存在一定程度的退化。
Oct, 2023
SAM 是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零 - shot 图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM 在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023