通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

Oct, 2023

利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

Jan, 2022

本文提出了一种新的医学图像分割框架 TransUNet，它将 Transformers 和 U-Net 结合起来，通过编码全局上下文和恢复本地细节信息来实现更精确的分割，针对不同的医学应用，TransUNet 优于其他竞争方法。

Feb, 2021

本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

Apr, 2022

我们提出了一种简单而有效的 UNet-Transformer（seUNet-Trans）模型，用于医学图像分割，结合了 CNN-based 模型和 Transformer 模型，在多个医学图像分割数据集上进行了广泛实验，显示出优于其他几种先进模型的性能。

Oct, 2023

本篇论文提出了一种名为 Axial Fusion Transformer UNet (AFTer-UNet) 的方法，它结合了卷积层和 Transformer 的优势，同时考虑了切片内和切片间的长距离信息，在医学图像分割中优于现有技术。

Oct, 2021

将卷积神经网络和 Transformer 架构相结合，提出了一种先进的二维特征提取方法，利用平行编码器和通道注意模块实现更好的医学图像分割准确性。

Jan, 2024

本文提出了使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割的新网络 TransBTS。该网络同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。

Mar, 2021

该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

May, 2021

提出了一种基于全卷积 transformer 的医疗图像分割模型，该模型可处理各种数据模态，能够有效地提取输入图像的语义依存关系并捕获其分层全局属性，并在多个数据集上表现优异，相对于同类模型具有参数少的特点。

Jun, 2022