Nov, 2023

通过基于提示的学习改进冷冻电镜显微图中的蛋白质识别的分段任意模型 (SAM) 的适应性

PDF
TL;DR使用基于提示的学习策略改进了 Segment Anything Model (SAM) 模型在冷冻电子显微镜（cryo-EM）中的应用，为蛋白质识别、生物医学图像分割和目标检测等领域提供了潜在的发展前景。
cryo-electron microscopyprotein particle pickingprompt-based learningsegment anything modelbiomedical image segmentation
发现论文，激发创造
  • 面向任务驱动的基于模型的提示演进

    利用下游分割任务优化人工提供的提示，提出了针对 Segment Anything Model（SAM）等基础模型的即插即用的 Prompt 优化技术（SAMPOT），在胸部 X 射线图像的肺分割中取得了显著的改进，并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。

    Oct, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • SAM 交互式医学图像分割的拓展时间提示优化

    本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力，并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题，并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明，学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。

    Jun, 2023

  • 通过提示学习为实例分割定制分割基础模型

    通过 prompt 学习定制的实例分割算法，以更好地适应用户意图，并通过点匹配模块增强特征表达，从而实现更细致的分割，最终的实验结果证明了该方法的有效性。

    Mar, 2024

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • PA-SAM：高质量图像分割的指示适配器 SAM

    通过引入一种新型的提示驱动适配器（PA-SAM）到 Segment Anything Model (SAM) 中，提高了原始 SAM 的分割掩模质量，通过在稀疏和密集提示级别上优化面罩解码器功能，从图像中提取详细信息，实验结果表明 PA-SAM 在高质量、零样本和开放集分割方面优于其他基于 SAM 的方法。

    Jan, 2024

  • 如何高效地将大型分割模型（SAM）适应于医学图像

    本文介绍了一种针对医学影像的零样本分割模型 Segment Anything (SAM)，通过细调轻量级任务特定的 ViT 预测头来提高其在医学影像数据集上的性能。

    Jun, 2023

  • 学习对呼叫分段任何模型

    通过空间 - 语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • All-in-SAM：从弱注释到基于提示微调的像素级细胞核分割

    本文提出了一个称为 all-in-SAM 的流程，通过将 SAM 用于整个 AI 开发工作流（从注释生成到模型微调），而无需在推理阶段使用手动提示，取代了在推理阶段使用提示的方法，可以在不需要手动提示的情况下更好地完成生物医学图像分割任务，并在公共数据集 Monuseg 上的一个核分割任务中超越了最先进的方法，并且使用弱注释进行 SAM 微调的实验结果表明其性能相对于使用强像素注释数据的方法而言具有竞争力。

    Jul, 2023