AFTer-UNet:医学图像分割轴向融合 Transformer UNet
通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上,充分探索 Transformers 在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的 Transformer 编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer 解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。
Oct, 2023
本篇论文介绍了一种新的 UNETR 架构,通过使用 Transformer 作为编码器,可以捕捉更长程的空间依赖性,同时保持 “U 形” 的网络设计。实验证明,在多个数据集上,该方法在多器官分割任务上取得了最新的最优性能。
Mar, 2021
我们提出了一种简单而有效的 UNet-Transformer(seUNet-Trans)模型,用于医学图像分割,结合了 CNN-based 模型和 Transformer 模型,在多个医学图像分割数据集上进行了广泛实验,显示出优于其他几种先进模型的性能。
Oct, 2023
本文提出了一种新的医学图像分割框架 TransUNet,它将 Transformers 和 U-Net 结合起来,通过编码全局上下文和恢复本地细节信息来实现更精确的分割,针对不同的医学应用,TransUNet 优于其他竞争方法。
Feb, 2021
本文提出了一种称为 Dilated Transformer 的方法,该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构,用于 3D 医学图像分割。实验表明,我们的 D-Former 模型在低计算成本下,从头开始训练,优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。
Jan, 2022
提出了一种基于全卷积 transformer 的医疗图像分割模型,该模型可处理各种数据模态,能够有效地提取输入图像的语义依存关系并捕获其分层全局属性,并在多个数据集上表现优异,相对于同类模型具有参数少的特点。
Jun, 2022
本文提出了一个统一的框架,它由两个体系结构组成,称为 UNetFormer,具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练,使用 Medical Segmentation Decathlon(MSD)数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试,并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割,并在 Dice 评分方面优于其他方法。
Apr, 2022
该研究提出了一种轻量级体积卷积网络(3D UX-Net),它使用 ConvNet 模块来适应分层变换器进行稳健的体积分割,与当前 SOTA 变换器相比表现竞争力,并在三个具有挑战性的公共数据集上显示出更好的 Dice 系数。
Sep, 2022
本文介绍了用于医学图像分割的 TransFuse 并行网络结构,将 Transformers 和 CNNs 并置,以有效地捕捉全局依赖关系和低级别空间细节,且使用了一种新的特征融合方法 —BiFusion 模块来融合两个分支的多级特征。实验结果表明,TransFuse 在医学图像分割任务中的性能优于目前最先进的技术,同时在参数数量和推断速度上也有显著改进。
Feb, 2021
本研究提出了一种名为 DA-TransUNet 的新型深度医学图像分割框架,将 Transformer 和双注意力块引入传统 U 形架构的编码器和解码器中,通过注意力机制和多方面特征提取来增强医学图像分割,并通过实验结果证明 DA-TransUNet 在各个医学图像分割基准测试中显著优于现有方法。
Oct, 2023