Oct, 2023

使用视觉变换器进行更快速的三维心脏 CT 分割

PDF
TL;DR心脏准确分割对于个性化血流模拟和手术干预规划至关重要。我们改进了 ViT 以适应三维体积输入，并将其与 ResNet50 和级联上采样相结合的方式构建了 TRUNet。TRUNet 在比传统的 Residual U-Net 更短的时间内收敛，并且能产生与其相媲美或更好的左心室、左心房、左心房附属物、肺动脉和升主动脉的分割效果。 TRUNet 能更准确地分割血管边界，并更好地捕捉到心脏的整体解剖结构，对于医学影像中的三维语义分割任务具有很大潜力。
segmentationvision transformertrunet3d semantic segmentationmedical imaging
发现论文，激发创造
  • ViT-V-Net: 用于无监督容积医学图像配准的视觉变换器

    该论文提出了一种基于 ViT 和 ConvNets 的新架构 ViT-V-Net，实现了类医学图像的体积重建。实验结果表明，该方法在图像配准任务中具有优异的性能。

    Apr, 2021

  • 医学图像分割的视觉 Transformer 近期综述

    医学图像分割是各种医疗应用中至关重要的一环，能够实现准确的诊断、治疗规划和疾病监测。最近，视觉变换器（ViTs）作为一种有望解决医学图像分割挑战的技术逐渐崭露头角。本综述论文对于医学图像分割中 ViTs 和混合视觉变换器（HVTs）的最新发展进行了详细的回顾。除了对 ViT 和 HVT 的分类外，还详细介绍了它们在几种医学图像模态中的实时应用。这篇综述可以作为研究人员、医疗从业者和学生了解 ViT 基于医学图像分割的最新方法的有价值的资源。

    Dec, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • 基于 PVT 编码和精细解码的 CT 肝脏分割

    提出了一种新的深度学习方法 PVTFormer，采用预训练金字塔视觉变形器（PVT v2）和高级残差上采样与解码器块相结合的方式，在处理高分辨率医学图像时克服了可扩展性和效率问题，通过整合精细的特征通道方法和分级解码策略，生成了优质的分割掩膜，具有较高的 Dice 系数和 mIoU，并且获得了较低的 HD，为现有的肝脏分割方法设立了新的基准。

    Jan, 2024

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • UNETR: 用于 3D 医学图像分割的变压器

    本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

    Mar, 2021

  • 用于胸部 X 射线和胃肠道图像分类的视觉 Transformer

    使用不同的卷积神经网络和 Transformer 方法以及广泛的数据增强技术，在三个医学图像数据集上比较了它们的表现，并将视觉 Transformer 模型与其他先进的预训练 CNN 网络进行了评估和比较，在分类不同的解剖结构、所见和异常方面，我们的 Transformer 模型优于或更有效，比 CNN 基于的方法有所改进，建议将其用作算法开发的新基准算法。

    Apr, 2023

  • 预训练的 ViT 模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • AgileFormer：用于医学图像分割的空间敏捷 Transformer UNet

    通过引入空间动态组件到视觉变换器 - UNet 中，我们提出一种名为 AgileFormer 的新颖结构，用于处理医学图像分割任务中感兴趣对象的多样外观，实验证明了该方法的有效性。

    Mar, 2024

  • TransCC: 用于冠状动脉 CCTA 分割的 Transformer 网络

    提出了一种将 Transformer 和卷积神经网络有效融合的深度学习框架 TransCC，通过引入特征交互提取模块 (FIE) 和多层增强感知器 (MEP)，提高了 CCTA 图像分割的性能，平均 Dice 系数达到 0.730，平均交并比 (IoU) 达到 0.582。

    Oct, 2023