Jan, 2022

Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

PDF
TL;DR利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。
semantic segmentationbrain tumorsmri imagingconvolutional neural networkstransformer models
发现论文，激发创造
  • UNETR: 用于 3D 医学图像分割的变压器

    本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

    Mar, 2021

  • Swin-Unet: 纯 Transformer 风格的 Unet 模型用于医学图像分割

    该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

    May, 2021

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • DS-TransUNet: 医学图像分割的双 Swin Transformer U-Net

    本研究提出了 Dual Swin Transformer U-Net (DS-TransUNet) 框架，它是第一次尝试将 Swin Transformer 的优势同时融入到标准 U 形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet 显著优于现有的医学图像分割方法。

    Jun, 2021

  • 神经 - TransUNet：使用 Transformer 进行 MRI 中的中风病灶分割

    通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

    Jun, 2024

  • Swin Transformer 自监督预训练用于三维医学图像分析

    本文介绍了一种自我监督学习框架，使用适合医学图像分析的代理任务，成功地在各种人体器官的公开可用的 CT 图像上预训练模型，并在医学分割基准数据集上进行了微调，实现了最先进的匹配结果。

    Nov, 2021

  • SeUNet-Trans: 医学图像分割的简单而有效的 UNet-Transformer 模型

    我们提出了一种简单而有效的 UNet-Transformer（seUNet-Trans）模型，用于医学图像分割，结合了 CNN-based 模型和 Transformer 模型，在多个医学图像分割数据集上进行了广泛实验，显示出优于其他几种先进模型的性能。

    Oct, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023

  • 用于自动医学图像分割的高分辨率 Swin Transformer

    本研究提出了一种基于 Transformer 的医学图像分割网络 HRSTNet，其采用具有高分辨率的设计风格，用 Transformer 块代替卷积层，不断交换不同分辨率的特征图集来提高性能

    Jul, 2022