Dec, 2023

高效 SAM：基于掩码图像预训练的高效物体分割

PDF
TL;DR基于大规模 Transformer 模型的 SAM 模型制约了其在广泛现实应用中的计算成本。为解决这个问题，我们提出了轻量级 SAM 模型 EfficientSAMs，借助图像预训练方法 SAMI，通过 SAM 图像编码器重建特征进行视觉表征学习，并在 SA-1B 上微调模型，实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示，SAMI 方法在面向零样本实例分割等任务上，我们的 EfficientSAMs 表现优于其他快速 SAM 模型，达到显著增益（例如，在 COCO/LVIS 上的 AP 提高了约 4 个点）。
发现论文，激发创造
  • 面向移动应用的轻量级 SAM：更快的分割任何物体

    该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型，其将重量级图像编码器替换为轻量级图像编码器，并且使用解耦蒸馏技术来训练模型，以便在移动设备上使用，相对于 FastSAM，MobileSAM 模型可缩小 7 倍且速度快 4 倍。

    Jun, 2023

  • 快速分割任何物体

    本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集，便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。

    Jun, 2023

  • EfficientViT-SAM：高效的无损性能 Segment Anything 模型

    我们提出了 EfficientViT-SAM，这是一种新的快速分段任意模型系列，通过保留 SAM 的轻量级提示编码器和屏蔽解码器，以 EfficientViT 替代了较重的图像编码器。通过从 SAM-ViT-H 图像编码器到 EfficientViT 的知识蒸馏进行训练，并在 SA-1B 数据集上进行端到端训练，EfficientViT-SAM 在不损失性能的情况下，在 A100 GPU 上的 TensorRT 加速能够传递 48.9 倍的速度提升。我们的代码和预训练模型已在此 https URL 发布。

    Feb, 2024

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • TinySAM: 高效细分任意模型的突破

    提出了一种 TinySAM 模型，通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅度减少了计算成本，进一步推动了高效分割任务的发展。

    Dec, 2023

  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • 高质量分割任何事物

    提出了一种名为 HQ-SAM 的模型，该模型在保持 Segment Anything Model（SAM）原始 zero-shot 设计，高效性和推广性的同时，赋予 SAM 精确切分任何对象的能力，通过深度融合输入的不同特征并引入可学习的高质量输出 Token，有效提高了遮罩细节。在多种下游任务的 9 个不同分割数据集中展示 HQ-SAM 的有效性，其中有 7 个采用了零 - shot 转移协议进行评估。

    Jun, 2023

  • SAM-Adapter：在伪装、阴影等场景下适应 SAM 的分割模型

    通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中，我们的实验表明，SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能，并且在我们测试的任务中甚至可以胜过专门的网络模型，并达到最先进的性能：伪装目标检测和阴影检测。

    Apr, 2023

  • 医学图像分割中的 Segment-Anything 模型（SAM）的准确性

    通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景，发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。

    Apr, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023