本文探讨了Transformer网络架构在医学图像分割任务中的可行性，并提出了一种Gated Axial-Attention模型和Local-Global训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该Medical Transformer模型优于卷积和其他相关的Transformer-based架构。

Feb, 2021

通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取，我们提出了一种称为金字塔医疗变压器（PMTrans）的新型方法，可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明，PMTrans 相较于最新的基于 CNN 和变压器的模型，具有更好的性能。

Apr, 2021

本研究提出了Dual Swin Transformer U-Net (DS-TransUNet)框架，它是第一次尝试将Swin Transformer的优势同时融入到标准U形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet显著优于现有的医学图像分割方法。

Jun, 2021

本研究提出UTNet，这是一种简单而强大的混合Transformer体系结构，它将self-attention集成到卷积神经网络中，以增强医学图像分割，通过在编码器和解码器中应用self-attention模块来捕捉不同尺度的长程依赖关系，并提出了一种有效的self-attention机制与相对位置编码，从而将self-attention操作的复杂度从 $O(n^2)$ 降低到约 $O(n)$。在多标签、多厂商的心脏磁共振成像队列上对UTNet进行了评估，所示分割性能优异，对抗最先进的方法表现出很好的鲁棒性，有望在其他医学图像分割中具有广泛的应用前景。

Jul, 2021

本文提出了一种新颖的多尺度架构C2FTrans，它将医学图像分割形式化为粗-细过程。其中包含了一个跨尺度全局Transformer和一个边界感知局部Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有CNN和基于Transformer的方法的表现。

Jun, 2022

本文提出了一种新的方法HiFormer，它通过使用Swin Transformer模块和基于CNN的编码器设计了两种多尺度特征表示来有效地跨越CNN和Transformer进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer在计算复杂度、定量和定性结果方面优于其他基于CNN、Transformer和混合方法。

Jul, 2022

本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和Transformer的性能，以实现更好的医学图像分割结果。

Jun, 2023

本研究采用混合卷积神经网络和Transformer的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

Jun, 2023

我们进一步扩展了我们以前的工作，并提出了具有混合编码器的CATS v2。具体来说，混合编码器由一个基于CNN的编码器路径和一个具有移位窗口的transformer路径组成，更好地利用了本地和全局信息来产生稳健的3D医学图像分割。我们在两个公共挑战数据集上评估了所提出的方法，并与最先进的方法进行了比较，在Dice分数方面表现出卓越的性能。

Aug, 2023

通过在2D TransUNet体系结构的基础上建立在最先进nnU-Net体系结构的基础上，充分探索Transformers在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的Transformer编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和U-Net特征之间的交叉注意力进行候选区域的精炼的Transformer解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于Transformer的编码器和解码器集成到U型医学图像分割体系结构中的巨大潜力。TransUNet在各种医学应用中超越竞争对手。

Oct, 2023