Sep, 2023

多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

PDF
TL;DR在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。
3d segmentationlesion growth kineticsswine-transformerself-supervised pretext tasksautomated 3d lesion segmentation
发现论文，激发创造
  • Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

    利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

    Jan, 2022

  • DS-TransUNet: 医学图像分割的双 Swin Transformer U-Net

    本研究提出了 Dual Swin Transformer U-Net (DS-TransUNet) 框架，它是第一次尝试将 Swin Transformer 的优势同时融入到标准 U 形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet 显著优于现有的医学图像分割方法。

    Jun, 2021

  • 神经 - TransUNet：使用 Transformer 进行 MRI 中的中风病灶分割

    通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

    Jun, 2024

  • 3D UX-Net: 基于大卷积核优化分层变换的医学图像分割立体卷积网络

    该研究提出了一种轻量级体积卷积网络（3D UX-Net），它使用 ConvNet 模块来适应分层变换器进行稳健的体积分割，与当前 SOTA 变换器相比表现竞争力，并在三个具有挑战性的公共数据集上显示出更好的 Dice 系数。

    Sep, 2022

  • 基于 CT 的胸腔外科手术计划的解剖分割：对 3D U 型深度学习模型的基准研究

    最近对患者特定胸部手术规划和仿真的兴趣日益增加，要求从自动医学影像分割算法中高效、稳健地创建数字解剖模型。深度学习（DL）现在在各种放射学任务中处于领先地位，U 型 DL 模型在医学影像分割方面表现出色，自 2D UNet 的诞生以来已经有很多 U 型模型的变体。目前，尚缺乏对这些模型进行系统的基准研究，尽管最近大规模多标签数据库的发展为该领域提供了机会。我们首次对 3D U 型模型的变体（3DUNet，STUNet，AttentionUNet，SwinUNETR，FocalSegNet 以及一种新的带有四种变体的 3D SwinUnet）进行了基准研究，其重点是基于 CT 的胸部手术解剖分割。我们的研究系统地考察了不同注意力机制、分辨率级别数量和网络配置对分割准确率和计算复杂度的影响，并进行了与最近的其他基准研究的交叉参考，包括对 BTCV 腹部结构分割的性能评估。在 STUNet 排名首位的情况下，我们的研究证明了用于所研究任务的基于 CNN 的 U 型模型的价值，以及在网络配置设计中使用剩余块以提高分割性能的好处。

    Feb, 2024

  • 时空建模遭遇 3D 医学图像分析：Slice-Shift UNet 与多视图融合

    基于视频动作识别领域的灵感，我们提出了一种名为 Slice Shift UNet (SSH-UNet) 的新型二维模型，以 2D 卷积神经网络的复杂度编码三维特征，通过沿切片轴移动部分特征图重新融合被 2D 卷积忽视的第三个维度。在多模态腹部多器官分割（AMOS）和除颅骨外多图谱标记（BTCV）数据集中验证了我们方法的有效性，表明 SSH-UNet 在性能上与最先进的架构相媲美，且更高效。

    Jul, 2023

  • 基于卷积网络辅助重建 Swin Transformer 的动态 MRI 重建学习

    提出了一种名为 Reconstruction Swin Transformer (RST) 的新型架构，用于 4D MRI 重建，该架构继承了视频 Swin Transformer 的骨干设计，并引入了新的重建头部来恢复像素级强度，通过在卡片 4D MR 数据集中的实验结果进一步证实了 RST 的优越性。

    Sep, 2023

  • Swin UNETR++：将基于 Transformer 的浓度预测推进至完全自动化的放射治疗

    放射治疗学领域能够受益于使用人工智能完全自动化创建癌症治疗的辐射治疗计划。本研究提出了 Swin UNETR++，包含一个轻量级的 3D 双重交叉注意力（DCA）模块，以捕获每个患者独特解剖结构内部和体积间的关联，从而弥补了完全卷积神经网络的不足。我们的模型在 Open Knowledge-Based Planning 数据集上进行了训练、验证和测试。除了定量评估预测和真实 3D 辐射剂量分布之间的差异的剂量分数 δS 和剂量体积直方图分数 δDVH 之外，我们提出了平均体积级验收率 δRVA 和平均患者级临床验收率 δRPA 这两个定性评估指标来评估预测的临床可靠性。Swin UNETR++ 在验证和测试数据集上表现出接近最先进的性能，为将 3D 剂量预测转化为可交付的治疗计划，从而实现全自动化提供了基础。

    Nov, 2023

  • Swin-Unet: 纯 Transformer 风格的 Unet 模型用于医学图像分割

    该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

    May, 2021

  • 深度学习中的医学图像分割实现跨维度迁移学习

    本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法，该方法基于权重转移和维度转移的两个关键原则，实验证明其在多维医学图像分割方面表现出色。

    Jul, 2023