CVPRApr, 2024

SegFormer3D: 3D 医学图像分割的高效 Transformer

PDF
TL;DRSegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。
vision transformers3d medical image segmentationconvolutional neural networksegformer3dmemory efficient transformer
发现论文，激发创造
  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • HiFormer: 使用 Transformer 实现的分层多尺度表示，用于医学图像分割

    本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

    Jul, 2022

  • AgileFormer：用于医学图像分割的空间敏捷 Transformer UNet

    通过引入空间动态组件到视觉变换器 - UNet 中，我们提出一种名为 AgileFormer 的新颖结构，用于处理医学图像分割任务中感兴趣对象的多样外观，实验证明了该方法的有效性。

    Mar, 2024

  • SuperFormer：基于体素变换的 MRI 超分辨率结构

    本文提出了一种新颖的使用视觉 Transformer（ViTs）处理体积医学信息的框架，通过将先进的 Swin Transformer 模型拓展到三维医学领域，以及在 ViTs 中处理体积信息和编码位置的新方法。我们提出了基于 Transformer 的体积方法 SuperFormer，用于磁共振成像（MRI）超分辨率，通过利用 MRI 域的三维信息和具有三维相对位置编码的局部自注意机制来恢复解剖细节，并结合体积域和特征域的多域信息进行高分辨率 MRI 的重建，对人体连通项目数据集进行了广泛验证，并证明了体积 Transformer 相对于基于三维 CNN 的方法的优越性。

    Jun, 2024

  • nnFormer: 交错 Transformer 用于体积分割

    介绍了一种新的医学图像分割模型 ——nnFormer，利用了 3D Transformer 模型的自注意机制，相比之前的 Transformer 模型在三个公开数据集上都取得了更好的性能。

    Sep, 2021

  • 用于高效和鲁棒的脑损伤分割的大核心注意力

    我们提出了一个全卷积变种的 U-Net 结构的转换器模块，用于建模 3D 脑损伤分割的远程交互，证明了我们的模型在三个因素中提供了最大的妥协点：与最先进技术相竞争的性能；卷积神经网络的参数效率；以及转换器的有利归纳偏差。

    Aug, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023