Mar, 2024

SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

PDF
TL;DR本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。
promptable segmentation modelssamtracking and segmentationprompt denoisingmulti-prompt strategy
发现论文，激发创造
  • 医学图像上的 SAM：三种提示模式的全面研究

    本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM 的性能显著提高。

    Apr, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • PA-SAM：高质量图像分割的指示适配器 SAM

    通过引入一种新型的提示驱动适配器（PA-SAM）到 Segment Anything Model (SAM) 中，提高了原始 SAM 的分割掩模质量，通过在稀疏和密集提示级别上优化面罩解码器功能，从图像中提取详细信息，实验结果表明 PA-SAM 在高质量、零样本和开放集分割方面优于其他基于 SAM 的方法。

    Jan, 2024

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • 学习对呼叫分段任何模型

    通过空间 - 语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • 关于分割算法的鲁棒性

    该文讨论使用提示依靠快速学习和收集大规模数据进行目标检测的 Segment anything model (SAM) 是否能够在威胁场景下提供可靠性，发现 SAM 对于多种污染具有显着的鲁棒性，但在受到 PGD 和 BIM 攻击时容易受到影响，因此提出了一系列新任务以提高 SAM 的鲁棒性。

    May, 2023

  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • All-in-SAM：从弱注释到基于提示微调的像素级细胞核分割

    本文提出了一个称为 all-in-SAM 的流程，通过将 SAM 用于整个 AI 开发工作流（从注释生成到模型微调），而无需在推理阶段使用手动提示，取代了在推理阶段使用提示的方法，可以在不需要手动提示的情况下更好地完成生物医学图像分割任务，并在公共数据集 Monuseg 上的一个核分割任务中超越了最先进的方法，并且使用弱注释进行 SAM 微调的实验结果表明其性能相对于使用强像素注释数据的方法而言具有竞争力。

    Jul, 2023