多类型肿瘤的分割基础模型

Mar, 2024

A Segmentation Foundation Model for Diverse-type Tumors

Jianhao Xie, Ziang Zhang, Guibo Luo, Yuesheng Zhu

TL;DR通过使用 Resblock-backbone 和 Transformer-bottleneck 构建 16 亿参数的大规模肿瘤分割基础模型 (TSFM)，我们利用医学影像中肿瘤和器官之间的空间相关性，创新地融合了 7 个肿瘤数据集和 3 个多器官数据集，构建了一个三维医学数据集池，包括 2779 个病例和 30 万张医学图像，其规模目前超过许多其他公开数据集。TSFM 是用于医学影像分割的预训练模型，也可以用于多个下游任务的微调学习。与 nnU-Net 相比，我们的预训练模型的平均性能高出 2%，在迁移学习任务中，TSFM 只需 nnU-Net 的 5% 训练轮次即可达到相似的性能，并且可以在 10% 的训练轮次上平均超过 nnU-Net 2%。预训练的 TSFM 模型及其代码即将发布。

Abstract

Large pre-trained models with their numerous model parameters and extensive training datasets have shown excellent performance in various tasks. Many publicly available medical image datasets do not have a sufficient amount of data so there are few large-scale models in medical imaging

large-scale tumor segmentation foundation model medical image datasets transfer learning pre-trained model tumor segmentation

发现论文，激发创造

STU-Net：借助大规模监督预训练提升可伸缩和可迁移的医学图像分割模型

本文提出了可扩展和可转移的 U-Net (STU-Net) 模型，参数从 1400 万到 14 亿，并在大规模的医学分割数据集上表现良好，并评估其在 14 个下游数据集上的可转移性。

Apr, 2023

脑肿瘤分割的处理和迁移学习的优化框架

基于 3D U-Net 模型的多模态脑肿瘤分割框架在验证数据集上实现了 Challenges 1、2 和 3 分别为 0.79、0.72、0.74 的平均病灶 Dice 分数。

Feb, 2024

大规模病理基础模型训练之路

本文介绍了基于现代自监督学习算法的深度学习方法的最新进展，以及构建医学图像基础模型的相关工作。我们通过扩展性强的训练流程和综合分析不同超参数选择和训练技术，构建了一系列针对病理学图像的基础模型，并经过实验评估，在乳腺癌亚型分类和结肠癌核分割等不同任务上达到了最先进的性能水平。最后，为了统一领域内的评估方法并简化不同基础模型的比较，我们还提供了开源框架，用于在不同任务中一致评估病理学基础模型。

Mar, 2024

基于多尺度 MPU-Net 的 3D 医学图像分割

本文提出了一种基于 Transformer 和 MPU-Net 的肿瘤分割模型，该模型结合了图像串行化和位置注意力模块，旨在理解更深层次上的上下文依赖关系和实现更准确的位置定位，并在肝脏肿瘤分割挑战中表现出优异的性能。

Jul, 2023

基于大规模未标注数据预训练的基础模型用于三维医学图像分割

本研究提出了一种名为 Volume Fusion (VF) 的自监督学习策略，结合多个随机补丁，采用预定义的融合系数融合前景子卷和背景子卷，无需手动注释地预训练 3D CT 体数据的分割模型，结果表明该方法表现优于其他基于自监督训练和分割模型的方法。

Jun, 2023

基于 Transformer 的多模态脑肿瘤分割

本文提出了使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割的新网络 TransBTS。该网络同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。

Mar, 2021

基于残差变换器的脑肿瘤分割的集成学习

提出了一种将 Transformers 集成到自适应 U-Net 中的新型网络架构，以合理的计算成本提取出三维体积上下文，并探索集成方法，证明了组合多个架构以优化脑肿瘤分割的潜力。

Jul, 2023

利用部分标记的数据进行多器官和肿瘤分割的学习

提出了一种基于 Transformer 模型的多动态分割网络 TransDoDNet，在多个部分标记的数据集上学习器官和肿瘤的分割，并创造了一个大规模的部分标记的多器官和肿瘤分割基准 MOTS，结果表明 TransDoDNet 在七项器官和肿瘤分割任务中性能优异。

Nov, 2022

UNETR: 用于 3D 医学图像分割的变压器

本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

Mar, 2021

基于细粒度梯度保持的脑肿瘤分类的深度融合模型

该研究提出了一种精确的大脑肿瘤分类方法，通过融合预训练的 ResNet152V2 和修改的 VGG16 模型，在深度神经网络中保留细微的梯度以实现有效的肿瘤分类，并结合各种图像处理技术来改善图像质量，准确度分别达到 98.36% 和 98.04%，并且在资源受限的边缘设备上能够平滑部署。

Jun, 2024