Oct, 2023

用于自动 3D 核心心脏图像重新定向和分割的多尺度空间变换器 U-Net

PDF
TL;DR我们提出了一种名为多尺度空间变换 UNet（MS-ST-UNet）的端到端模型，用于从核心心脏图像中同时重新定位和分割左室（LV）区域。该方法采用多尺度策略生成和提取具有不同尺度的图像特征，并通过联合学习促进重新定位和分割任务之间的互相增强。该方法显著改进了重新定位和分割性能，能够为物理学家提供多模态定量分析辅助，减少手动描绘心脏图像的负担，并提供高效的图像处理工作流程。
发现论文，激发创造
  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023

  • 神经 - TransUNet：使用 Transformer 进行 MRI 中的中风病灶分割

    通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

    Jun, 2024

  • 基于多尺度 MPU-Net 的 3D 医学图像分割

    本文提出了一种基于 Transformer 和 MPU-Net 的肿瘤分割模型，该模型结合了图像串行化和位置注意力模块，旨在理解更深层次上的上下文依赖关系和实现更准确的位置定位，并在肝脏肿瘤分割挑战中表现出优异的性能。

    Jul, 2023

  • 使用视觉变换器进行更快速的三维心脏 CT 分割

    心脏准确分割对于个性化血流模拟和手术干预规划至关重要。我们改进了 ViT 以适应三维体积输入，并将其与 ResNet50 和级联上采样相结合的方式构建了 TRUNet。TRUNet 在比传统的 Residual U-Net 更短的时间内收敛，并且能产生与其相媲美或更好的左心室、左心房、左心房附属物、肺动脉和升主动脉的分割效果。 TRUNet 能更准确地分割血管边界，并更好地捕捉到心脏的整体解剖结构，对于医学影像中的三维语义分割任务具有很大潜力。

    Oct, 2023

  • 从多视角图像中学习形状先验用于强健心脏磁共振分割

    本文提出了一种基于解剖形态先验知识和多个 2D 标准视图之间的空间上下文关系的方法，来从不同的 MR 短轴图像切片中分割出左心室心肌，该方法具有数据效率高、准确性高的优点，相对于基线模型表现更加卓越。

    Jul, 2019

  • 急性心肌梗死 MRI 心肌分割和 T2 定量的同时深度学习

    在心脏磁共振成像（MRI）分析中，提出了一种名为 SQNet 的双任务网络，集成了 Transformer 和卷积神经网络（CNN），能够同时完成心肌分割和 T2 定量分析，提高了诊断准确性。

    May, 2024

  • 时空建模遭遇 3D 医学图像分析：Slice-Shift UNet 与多视图融合

    基于视频动作识别领域的灵感，我们提出了一种名为 Slice Shift UNet (SSH-UNet) 的新型二维模型，以 2D 卷积神经网络的复杂度编码三维特征，通过沿切片轴移动部分特征图重新融合被 2D 卷积忽视的第三个维度。在多模态腹部多器官分割（AMOS）和除颅骨外多图谱标记（BTCV）数据集中验证了我们方法的有效性，表明 SSH-UNet 在性能上与最先进的架构相媲美，且更高效。

    Jul, 2023

  • GCtx-UNet：高效用于医学图像分割的网络

    提出了一种轻量级分割架构 GCtx-UNet，可以捕获全局和局部图像特征，其精度优于或与最先进方法相媲美。GCtx-UNet 在多器官腹部 CT 数据集、ACDC 心脏 MRI 数据集和多个息肉分割数据集上进行了评估，在 Dice 相似系数和 Hausdorff 距离指标方面，超过了基于 CNN 和 Transformer 的方法，在复杂和小型解剖结构的分割中取得显著收益。此外，GCtx-UNet 比最先进的方法更高效，模型尺寸更小，计算负载更低，训练和推理速度更快，使其成为临床应用的实用选择。

    Jun, 2024

  • MS-UNet-v2: 医学图像分割的自适应降噪方法与小数据训练策略

    基于医学图像分割任务，我们提出了一种名为 MS-UNet 的新型 U-Net 模型。与 Swin-UNet 和 TransUnet 中使用的单层 U-Net 解码器结构不同，我们专门为 U-Net 设计了基于 Swin Transformer 的多尺度嵌套解码器。我们还提出了一种新颖的边界损失和即插即用微调去噪模块，这不仅有效提高了 MS-UNet 的分割性能，还可以单独应用于其他模型。实验证明，MS-UNet 在更高效的特征学习能力方面有效提升了网络性能，尤其是在少量训练数据的极端情况下，并且所提出的边界损失和去噪模块能显著增强 MS-UNet 的分割性能。

    Sep, 2023

  • 多视角心脏图像分割在转 - 维先验下的研究

    我们提出了一种新的多阶段跨维度架构，用于多视角心脏图像分割。我们的方法利用短轴和长轴核磁共振（MR）图像之间的关系进行序列化的三维至二维至三维分割，分割长轴和短轴图像。我们的方法在分割短轴和长轴图像中的心脏感兴趣区域方面优于现有方法，在 Multi-Disease、Multi-View & Multi-Center Right Ventricular Segmentation in Cardiac MRI (M&Ms-2) 数据集上进行了评估。

    Apr, 2024