FedFMS:探索用于医学图像分割的联邦基础模型
基于监督训练方法和无标签自我监督学习方法,在 100 个心脏超声图像的 25 个测量上,对 Segment Anything 模型(SAM)进行了性能和资源比较,结果发现 SAM 的性能较差,需要更多的标注和计算资源,显示出比无标签自我监督学习方法更低的效率。
Nov, 2023
通过使用基础模型的巨大预训练知识作为以医学图像分割任务为例的 FL 模型初始化的指导教师,本研究首次尝试将基础模型作为 FL 初始化的教师,评估其对 FL 模型性能的影响,尤其是在非独立同分布数据场景中。经验评估结果表明,在胸部 X 光肺分割任务中,FL 模型初始化指导下的 FL 不仅能实现更快的收敛,而且在复杂数据情境中也能提高性能,为 FL 中的模型初始化提供了新的视角。
Nov, 2023
最近许多生物医学影像分析领域的进展主要受到 Segment Anything Model (SAM) 的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于 2023 年 4 月 1 日至 9 月 30 日这段重要的首次出版后六个月的时期,我们研究了 SAM 在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的 33 个开放数据集。尽管 SAM 在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了 SAM 的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
对于自动分割医学图像的研究,本文总结了目前的微调策略,并在包括所有常见放射学模态的 17 个数据集上进行评估,研究发现微调 Segment Anything Model (SAM) 相较于以前的分割方法具有稍微更好的性能,使用参数效率高的学习在编码器和解码器中进行微调的策略优于其他策略,网络架构对最终性能影响不大,通过自监督学习进一步训练 SAM 可以提高最终模型性能。
Apr, 2024
SAM 是一个通用视觉模型,虽然在医学图像分割上的分割效果不高,但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型,该论文展示了如何用 SAM 来增强常用的医学图像分割模型(例如 U-Net),两个数据集上的实验表明了我们提出方法的有效性。
Apr, 2023
SAMME 是一个扩展了新的 SAM 变种模型、采用更快的通信协议、适应了新的交互模式、并允许对模型的子组件进行微调的平台,通过这些功能可以拓展 SAM 等基础模型的潜力,并将结果应用于图像引导治疗、混合现实互动、机器导航和数据增强等应用。
Mar, 2024
提出了一种名为 FedMS 的新型两阶段联邦学习算法,使用全局专家和本地专家构建混合基准模型(MoFM),设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合,并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景,实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。
Dec, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
本文介绍了一种基于 Segment Anything Model(SAM)的创新增强方法 SAMAug-C,用于生成原始图像的变体并增强分类数据集,实验结果验证了该方法的有效性。
Jun, 2024