TP-DRSeg:利用显式文本提示辅助 SAM 提升糖尿病视网膜病变分割
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023
利用下游分割任务优化人工提供的提示,提出了针对 Segment Anything Model(SAM)等基础模型的即插即用的 Prompt 优化技术(SAMPOT),在胸部 X 射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。
Oct, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力,并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题,并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明,学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。
Jun, 2023
本文提出了一种名为 “Lesion-Net” 的新型全卷积网络,通过像素级视网膜病变分割和图像级疾病分类相结合,解决了糖尿病性视网膜病变分级的三大挑战,即缺乏客观边界的病变、病变的临床重要性与其大小无关,以及病变和疾病类别之间缺乏一对一的对应关系。在一组包含 12K 张眼底图像和 8 种视网膜病变的手动标记数据集上进行了广泛实验,表明我们的方法在病变分割、病变分类和糖尿病性视网膜病变分级等多个任务上均优于现有方法。
Dec, 2019
该论文综述了 Segment Anything Model(SAM)在医学图像分割中的应用,包括实证基准测试和方法论改进,并讨论了 SAM 在医学图像分割中的未来方向和文献综述。
May, 2023
应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像,相对于传统生成模型在图像质量和皮损分割性能上表现更优,SSIM 图像质量指标提高 9%,Dice 系数超过先前方法 5% 以上。
Oct, 2023
本文介绍了一种由 SAM 模型引导的新型医学图像字幕方法,以实现对医学图像的总体信息和细节进行增强编码,通过混合语义学习的独特预训练策略,同时捕捉医学图像的整体信息和细微细节,并证明了该方法在生成医学图像描述方面在各种评估指标上优于预训练的 BLIP2 模型。
Nov, 2023
提出了基于 SAM 的 GlanceSeg 人在回合的无标签早期糖尿病视网膜病变诊断框架,该框架通过实时分割显微血管瘤病灶和眼科医生的视线图进行糖尿病视网膜病变的诊断,实验证明了 GlanceSeg 的可行性和优越性。
Nov, 2023
本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题,将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet,并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型,实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。
May, 2023