STU-Net:借助大规模监督预训练提升可伸缩和可迁移的医学图像分割模型
通过对比自然图像与医学图像,本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性,提出了将自然图像模型迁移到医学图像中的实用方法,并发现新的关键性能:针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示,自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征,连续预训练可以缩小自然图像与医学图像领域之间的跨度,有望引导深度学习在医学图像领域的未来研究。
Aug, 2021
通过使用 Resblock-backbone 和 Transformer-bottleneck 构建 16 亿参数的大规模肿瘤分割基础模型 (TSFM),我们利用医学影像中肿瘤和器官之间的空间相关性,创新地融合了 7 个肿瘤数据集和 3 个多器官数据集,构建了一个三维医学数据集池,包括 2779 个病例和 30 万张医学图像,其规模目前超过许多其他公开数据集。TSFM 是用于医学影像分割的预训练模型,也可以用于多个下游任务的微调学习。与 nnU-Net 相比,我们的预训练模型的平均性能高出 2%,在迁移学习任务中,TSFM 只需 nnU-Net 的 5% 训练轮次即可达到相似的性能,并且可以在 10% 的训练轮次上平均超过 nnU-Net 2%。预训练的 TSFM 模型及其代码即将发布。
Mar, 2024
我们提出了一种简单而有效的 UNet-Transformer(seUNet-Trans)模型,用于医学图像分割,结合了 CNN-based 模型和 Transformer 模型,在多个医学图像分割数据集上进行了广泛实验,显示出优于其他几种先进模型的性能。
Oct, 2023
在这篇论文中,我们对近年来最具代表性的四种医学图像分割模型进行了调查。我们从理论上分析了这些模型的特点,并在两个基准数据集(结核病胸部 X 射线和卵巢肿瘤)上定量评估了它们的性能。最后,我们讨论了医学图像分割领域的主要挑战和未来趋势。我们的工作可以帮助相关领域的研究人员快速建立针对特定区域的医学分割模型。
Aug, 2023
该研究提出了一种基于数据增强的网络和训练策略,用于更有效地利用可用的标注样本,以实现对神经结构的分割和细胞跟踪。研究表明,这种网络可以从极少量的图像中进行端对端的训练,并在电子显微图像和透射光显微图像上均取得了优异的分割和跟踪效果,且速度快。
May, 2015
研究介绍了一个简单而彻底评估的深度学习框架,应用于任意医学图像体的分割,同时不需要任务特定的信息和人为干预。该系统基于一个固定的模型拓扑和固定的超参数集,排除了模型选择的过程和方法级别的过拟合。此外,使用多平面数据增强,结合了一个基于常见 U-Net 的 2D 架构,让 2D 模型学习表示 3D 图像体的表示方法,从而提高了泛化性能。
Nov, 2019
本文提出了一种基于 Transformer 和 MPU-Net 的肿瘤分割模型,该模型结合了图像串行化和位置注意力模块,旨在理解更深层次上的上下文依赖关系和实现更准确的位置定位,并在肝脏肿瘤分割挑战中表现出优异的性能。
Jul, 2023
通过探索深度学习模型在医学图像分割中的应用,特别关注 UNet 架构及其变体,本研究评估了这些模型在各种挑战性医学图像分割任务中的表现,并通过解决图像标准化、调整大小、架构选择、损失函数设计和超参数调整等问题来获取结果。研究结果显示,经过深层网络层扩展的标准 UNet 是一种精湛的医学图像分割模型;而 Res-UNet 和 Attention Res-UNet 架构在处理精细图像细节时表现出更平滑的收敛和卓越的性能。此外,本研究还着重解决高类别不平衡问题,通过精心预处理和定义损失函数来处理。我们预期本研究结果将为希望将这些模型应用于新的医学成像问题的研究人员提供有用的见解,并为其实施提供指导和最佳实践。
Sep, 2023
本文旨在利用 Pytorch 从零开始实现 UNet 模型并在多个生物医学图像数据集上评估其性能,另外,我们使用迁移学习将修改后的 UNet 分割模型应用于生物医学图像数据集,发现迁移学习模型在图像分割方面表现更为优异。
May, 2023
本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法,该方法基于权重转移和维度转移的两个关键原则,实验证明其在多维医学图像分割方面表现出色。
Jul, 2023