Mar, 2024

通过提示学习为实例分割定制分割基础模型

PDF
TL;DR通过 prompt 学习定制的实例分割算法，以更好地适应用户意图，并通过点匹配模块增强特征表达，从而实现更细致的分割，最终的实验结果证明了该方法的有效性。
foundation modelssegment anything model (sam)customized instance segmentationprompt learning module (plm)point matching module (pmm)
发现论文，激发创造
  • 学习对呼叫分段任何模型

    通过空间 - 语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • 面向任务驱动的基于模型的提示演进

    利用下游分割任务优化人工提供的提示，提出了针对 Segment Anything Model（SAM）等基础模型的即插即用的 Prompt 优化技术（SAMPOT），在胸部 X 射线图像的肺分割中取得了显著的改进，并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。

    Oct, 2023

  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • 基于视觉基础模型的遥感实例分割提示学习

    本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

    Jun, 2023

  • 医学图像上的 SAM：三种提示模式的全面研究

    本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM 的性能显著提高。

    Apr, 2023

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023