本文提出了一种新的医学图像分割框架TransUNet，它将Transformers和U-Net结合起来，通过编码全局上下文和恢复本地细节信息来实现更精确的分割，针对不同的医学应用，TransUNet优于其他竞争方法。

Feb, 2021

本篇论文介绍了一种新的UNETR架构，通过使用Transformer作为编码器，可以捕捉更长程的空间依赖性，同时保持“U形”的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

Mar, 2021

本研究提出了Dual Swin Transformer U-Net (DS-TransUNet)框架，它是第一次尝试将Swin Transformer的优势同时融入到标准U形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet显著优于现有的医学图像分割方法。

Jun, 2021

本研究提出UTNet，这是一种简单而强大的混合Transformer体系结构，它将self-attention集成到卷积神经网络中，以增强医学图像分割，通过在编码器和解码器中应用self-attention模块来捕捉不同尺度的长程依赖关系，并提出了一种有效的self-attention机制与相对位置编码，从而将self-attention操作的复杂度从 $O(n^2)$ 降低到约 $O(n)$。在多标签、多厂商的心脏磁共振成像队列上对UTNet进行了评估，所示分割性能优异，对抗最先进的方法表现出很好的鲁棒性，有望在其他医学图像分割中具有广泛的应用前景。

Jul, 2021

利用Swint UNEt TRansformers模型和多模MRI数据对3D颅脑肿瘤进行语义分割，可以转换为序列预测问题，以5个不同分辨率提取特征，通过跳过连接连接到FCNN解码器，并在BraTS 2021分割挑战中表现出优越的性能。

Jan, 2022

介绍了Dilated-UNet，结合了Dilated Transformer块和U-Net架构，用于快速准确地进行医学图像分割，并在多个具有挑战性的医学图像分割数据集上取得了优于其他模型的成果。

Apr, 2023

本文提出了一种基于Swin Transformer和多尺度MLP的高效U形架构，即STM-UNet，用于医学图像分割，旨在有效利用Transformer和MLP以提高模型性能和全局特征建模能力，设计了一种新型PCAS-MLP并将其放置到架构的“瓶颈”中，提高了分割性能。实验结果表明，我们提出的方法在ISIC2016和ISIC2018方面优于其他状态下最先进的方法，同时在高分割准确性和低模型复杂性之间取得了更好的平衡。

Apr, 2023

基于医学图像分割任务，我们提出了一种名为MS-UNet的新型U-Net模型。与Swin-UNet和TransUnet中使用的单层U-Net解码器结构不同，我们专门为U-Net设计了基于Swin Transformer的多尺度嵌套解码器。我们还提出了一种新颖的边界损失和即插即用微调去噪模块，这不仅有效提高了MS-UNet的分割性能，还可以单独应用于其他模型。实验证明，MS-UNet在更高效的特征学习能力方面有效提升了网络性能，尤其是在少量训练数据的极端情况下，并且所提出的边界损失和去噪模块能显著增强MS-UNet的分割性能。

Sep, 2023

通过在2D TransUNet体系结构的基础上建立在最先进nnU-Net体系结构的基础上，充分探索Transformers在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的Transformer编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和U-Net特征之间的交叉注意力进行候选区域的精炼的Transformer解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于Transformer的编码器和解码器集成到U型医学图像分割体系结构中的巨大潜力。TransUNet在各种医学应用中超越竞争对手。

Oct, 2023

本研究解决了现有 U-Net 变体在解码器设计上的不足，创新性地提出了 Swin DER，通过优化上采样方法、跳跃连接和特征提取模块，显著提升了医疗图像分割性能。研究表明，Swin DER 在 Synapse 和 MSD 脑肿瘤分割任务上超越了许多现有的最先进方法，具有良好的实际应用潜力。

Oct, 2024