面向任务驱动的基于模型的提示演进

Oct, 2023

面向任务驱动的基于模型的提示演进

Task-driven Prompt Evolution for Foundation Models

Rachana Sathish, Rahul Venkataramani, K S Shriram, Prasad Sudhakar

TL;DR利用下游分割任务优化人工提供的提示，提出了针对 Segment Anything Model（SAM）等基础模型的即插即用的 Prompt 优化技术（SAMPOT），在胸部 X 射线图像的肺分割中取得了显著的改进，并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。

Abstract

promptable foundation models, particularly segment anything model (SAM), have emerged as a promising alternative to the traditional task-specific supervised learning for image segmentation. However, many evaluati

promptable foundation models segment anything model medical imaging modalities deep learning methods plug-and-play prompt optimization technique

发现论文，激发创造

增强医学图像分割的基础模型多提示微调技术

我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

Oct, 2023

自训练的大型视觉模型用于少样本医学图像分割

通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

Aug, 2023

医学图像上的 SAM：三种提示模式的全面研究

本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM 的性能显著提高。

Apr, 2023

学习对呼叫分段任何模型

通过空间 - 语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

Jan, 2024

通过提示学习为实例分割定制分割基础模型

通过 prompt 学习定制的实例分割算法，以更好地适应用户意图，并通过点匹配模块增强特征表达，从而实现更细致的分割，最终的实验结果证明了该方法的有效性。

Mar, 2024

SAM 交互式医学图像分割的拓展时间提示优化

本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力，并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题，并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明，学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。

Jun, 2023

PromptUNet: 拟人化交互式医学图像分割

本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题，将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet，并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型，实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。

May, 2023

如何利用 Segment Anything Model (SAM) 提升医学图像分割？

该论文综述了 Segment Anything Model（SAM）在医学图像分割中的应用，包括实证基准测试和方法论改进，并讨论了 SAM 在医学图像分割中的未来方向和文献综述。

May, 2023

基于视觉基础模型的遥感实例分割提示学习

本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

Jun, 2023

医学图像分割的分割全模型：现阶段的应用与未来发展方向

通过综述快速模型（SAM）在医学图像分割领域的应用，本文总结了对 SAM 在医学图像分割任务中的有效性进行扩展的最近努力，并探讨了未来 SAM 在医学图像分割中的研究方向。尽管直接应用 SAM 到多模态和多目标医学数据集的图像分割上表现不够令人满意，但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。

Jan, 2024