SAMv2: 统一的外观、语义和跨模态解剖嵌入学习框架
Self-supervised Anatomical eMbedding (SAM) is introduced to extract semantic embeddings for imaging pixels with intrinsic structures, which can be used to locate body parts in other images by nearest neighbor searching, surpassing supervised methods trained on 50 labeled images with only one labeled template image and being effective in improving image registration and initializing CNN weights.
Dec, 2020
本研究提出了一种新的自我监督学习框架——Alice,旨在针对医学图像领域中异构数据及医学结构的特殊性,明确实现解剖不变性建模和语义对齐,其中主要涵盖对比学习策略及条件解剖特征对齐模块,进一步提高了3D医学图像分割下的性能表现,超过之前的同类方法。
Feb, 2023
SAM++是一个能够在医学图像中学习外观和语义嵌入的框架,其固定点匹配机制能够克服原来方法中的一些限制,并取得了比现有方法更好的结果。
Jun, 2023
为了解决不同FOV的图像对齐问题,本文提出了一种名为Cross-SAM的新方法,该方法利用嵌入学习和CT-MRI注册的迭代过程,以实现跨模态匹配,并在CT-MRI仿射注册数据集上表现出鲁棒性,明显优于其他方法,达到了最先进的性能。
Jul, 2023
SAM-Med2D是目前最全面的研究,通过收集和整理公开和私有数据集的约4.6M图像和19.7M掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集,并通过包围盒、点和掩膜的综合提示将自然图像分割模型SAM应用于医学图像分割,进行了彻底的微调,获得了最佳性能和泛化能力。
Aug, 2023
通过自我监督学习策略,利用人体解剖的分级性质和组成性,该模型提供了与全/自我监督方法相比改进了9%到30%的分割任务性能以及增强了注释效率,并且能够更好地理解人体解剖学。
Sep, 2023
我们介绍了一种快速而准确的无监督三维医学图像配准方法,利用自我监督的解剖嵌入(SAM)算法在像素级别计算两幅图像之间的密集解剖对应关系,并通过提供更为一致的对应关系和更好的语义引导特征来增强配准步骤,从而显著优于基于数值优化的方法。
Nov, 2023
基于统计形状建模(SSM)的对应关系是在临床研究中进行形态学分析的一种强大技术。Point2SSM++ 是一种基于深度学习的自我监督方法,从解剖形状的点云表示中直接学习对应点,旨在克服SSM在医学研究中的潜力未被充分利用的问题,并通过广泛的验证证明其在临床应用中的显著优势。
May, 2024
我们提出了一种简单而高效的少样本微调策略,用于将Segment Anything(SAM)适应于医学图像中的解剖分割任务。我们的方法通过在SAM内对掩膜解码器进行改进,利用从有限标记图像集合(少样本收集)中导出的少样本嵌入作为查询解剖对象的提示,大大减少了需要耗时的在线用户交互。我们的方法通过只使用缓存机制训练掩膜解码器、同时保持图像编码器冻结,优先考虑了微调过程的效率。此方法不仅限于体积医学图像,而且可以普遍应用于任何2D/3D分割任务。通过对四个数据集进行全面验证,覆盖了两种模态下六个解剖分割任务。此外,我们对SAM内的不同提示选项与完全监督的nnU-Net进行了比较分析。结果表明,与仅使用点提示的SAM相比,我们的方法表现卓越(IoU提高约50%),并且与完全监督方法相媲美,同时将标记数据需求降低了至少一个数量级。
Jul, 2024
本文解决了医学图像分割中数据效率、泛化能力和交互性不足的问题,提出了一种新的框架MedCLIP-SAMv2,结合了CLIP和SAM模型,利用文本提示进行临床扫描的分割。研究表明该方法在零次学习和弱监督环境下,可以有效提升分割质量,且在多种医学成像任务中表现出高精准度。
Sep, 2024