Dec, 2023

分割和标注任何东西

PDF
TL;DR提出了一种方法，能够高效地为 Segment Anything Model (SAM) 添加生成区域描述的功能，并且通过引入轻量级的基于查询的特征混合器使区域特征与语言模型的嵌入空间对齐，以便进行后续的描述生成。该方法具有小的可训练参数数量，计算量少、内存使用少和通信带宽少的特点，因此训练速度快且可扩展。通过先在目标检测和分割任务上进行弱监督预训练以解决区域描述数据稀缺问题。该方法的优越性得到了广泛的实验证明，并对每个设计选择进行了验证。本研究在扩展区域描述数据和探索为 SAM 增加区域语义方面具有重要意义。
发现论文，激发创造
  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • Segment Anything Model 是学习局部特征的好教师

    SAMFeat 通过引入 SAM（segment anything model）作为教师模型，利用像素级对齐关系和语义信息，改进本地特征描述和检测的性能，展现了在不同任务中的优越性能。

    Sep, 2023

  • 提升分段通用模型以实现开放词汇学习

    本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起，引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法，以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能，并与之前的最先进方法竞争力十足，旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。

    Dec, 2023

  • WeakSAM：融合分割与弱监督实例级别识别的方法

    使用弱监督的视觉识别方法，借助预训练的视觉基础模型（SAM）中的世界知识，解决了弱监督对象检测和分割中的限制问题，并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。

    Feb, 2024

  • 快速分割任何物体

    本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集，便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。

    Jun, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 基于 SAM 模型的弱监督语义分割增强伪标签

    使用 Segment Anything Model（SAM）结合 Class Activation Maps（CAM）生成更高质量的伪标签，用伪标签为特定类提供信号，选择相关的 mask 并用它们进行标注以产生一个更精确的伪标签，综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比（mIoU）6.2％。

    May, 2023

  • 通过弱监督适应提高分割基础模型在分布变化下的泛化能力

    基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

    Dec, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • TinySAM: 高效细分任意模型的突破

    提出了一种 TinySAM 模型，通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅度减少了计算成本，进一步推动了高效分割任务的发展。

    Dec, 2023