Nov, 2023

基于 Sam 引导的增强细粒度混合语义学习的医学图像字幕生成

PDF
TL;DR本文介绍了一种由 SAM 模型引导的新型医学图像字幕方法，以实现对医学图像的总体信息和细节进行增强编码，通过混合语义学习的独特预训练策略，同时捕捉医学图像的整体信息和细微细节，并证明了该方法在生成医学图像描述方面在各种评估指标上优于预训练的 BLIP2 模型。
medical image captioningdeep learningmultimodalitylarge language modelsenhanced encoding
发现论文，激发创造
  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • MedCLIP-SAM：将文本和图像融合以实现通用医学图像分割

    提出了一种新颖的框架 ——MedCLIP-SAM，结合了 CLIP 和 SAM 模型，使用文本提示在零样本和弱监督设置中生成临床扫描的分割，通过广泛测试三个不同的分割任务和医学图像模态，证明了该框架具有出色的准确性。

    Mar, 2024

  • 通过分层解码释放 SAM 在医疗适应上的潜力

    介绍了一种适用于医学图像的无提示适应性分割模型 H-SAM，并通过两阶段层次解码程序实现有效的细化调整，以提高其在医学图像分割中的性能。

    Mar, 2024

  • 基于大型视觉模型的医学图像标注框架 SAM^Med

    SAM 模型为基础，通过 SAM^{assist} 和 SAM^{auto} 两个子模块，提出了 SAM^{Med} 框架，无需大量标记即可实现精准的医学图像分割。

    Jul, 2023

  • SemiSAM：探索 SAM 以提升极少标注的半监督医学图像分割

    通过将 Segment Anything Model (SAM) 的伪标签作为辅助来增强半监督医学图像分割的学习过程，能够显著提升现有的半监督框架在极为有限的标注图像情况下的性能。

    Dec, 2023

  • 利用精细语义奖励提升文本到图像扩散模型

    本文提出 FineRewards 方法，通过引入两种细粒度语义奖励 ——caption reward 和 SAM reward，从两个语义视角提升 text-to-image 中文本和图像的匹配，实现模态对齐。在使用多个奖励函数指导训练的时候，FineRewards 方法在 MS-COCO 基准测试上优于其他基准奖励函数，并且与当前图像奖励的统一进一步提高了模型性能。

    May, 2023

  • I-MedSAM：分割一切隐式医学图像

    本论文提出了一种结合连续表示和 SAM 的方法 I-MedSAM，用于医学图像分割，通过使用隐式神经表示训练一个隐式分割解码器，以获得更好的跨领域能力和准确的边界描绘。

    Nov, 2023

  • AutoSAM：通过重载提示编码器将 SAM 应用于医学图像

    本文提出的方法通过使用编码器代替条件图像，在未经过进一步的微调的情况下，使用与多种医学影像和视频基准测试上的最新结果来改进 recently introduced Segment Anything Model (SAM) 的能力，并使用曲测解调制网络将其解码为遮罩。

    Jun, 2023

  • 如何利用 Segment Anything Model (SAM) 提升医学图像分割？

    该论文综述了 Segment Anything Model（SAM）在医学图像分割中的应用，包括实证基准测试和方法论改进，并讨论了 SAM 在医学图像分割中的未来方向和文献综述。

    May, 2023