该研究通过引入多轴关注模型和卷积等新元素，提出了一种高效且可扩展的注意力模型，即 MaxViT。利用 MaxViT 作为骨干网络，在图像分类和物体检测等任务上都取得了领先的性能。同时，该模型还证明了其在图像生成方面的潜在优势。

Apr, 2022

本研究提出 UTNet，这是一种简单而强大的混合 Transformer 体系结构，它将 self-attention 集成到卷积神经网络中，以增强医学图像分割，通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系，并提出了一种有效的 self-attention 机制与相对位置编码，从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估，所示分割性能优异，对抗最先进的方法表现出很好的鲁棒性，有望在其他医学图像分割中具有广泛的应用前景。

Jul, 2021

该论文提出了一种基于 ViT 和 ConvNets 的新架构 ViT-V-Net，实现了类医学图像的体积重建。实验结果表明，该方法在图像配准任务中具有优异的性能。

Apr, 2021

通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

Oct, 2023

引入了 U-Transformer 网络，结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制，有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题，在两个腹部 CT 图像数据集上表现出明显的优势。

Mar, 2021

提出了 MS-Twins（Multi-Scale Twins）分割模型，通过结合不同尺度和级联特征，能更好地捕捉语义和细粒度信息，解决了在医学图像分割中利用自注意力和卷积的最优化问题。在 Synapse 和 ACDC 两个常用数据集上，MS-Twins 相较于现有的网络结构有了显著的进展，在 Synapse 数据集上的性能比 SwinUNet 高出 8％，即使与最佳的完全卷积医学图像分割网络 nnUNet 相比，在 Synapse 和 ACDC 上 MS-Twins 的性能仍然稍有优势。

Dec, 2023

本文提出了一种将 LeViT Transformer 模块集成到 U-Net 结构中的快速、准确的医学图像分割解决方案，该方案在多项挑战性医学图像分割基准测试中展示了良好的性能。

Jul, 2021

本研究提出了一种名为 DA-TransUNet 的新型深度医学图像分割框架，将 Transformer 和双注意力块引入传统 U 形架构的编码器和解码器中，通过注意力机制和多方面特征提取来增强医学图像分割，并通过实验结果证明 DA-TransUNet 在各个医学图像分割基准测试中显著优于现有方法。

Oct, 2023

本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

Feb, 2021

提出了一种新方法 UniFormer，能够将 CNN 和 ViT 的优点融合到一个新的强大的支持各种视觉任务，包括图像分类、目标检测、语义分割和姿态估计等的 Transformer 模型中，并在不需要额外训练数据的情况下，达到了 ImageNet-1K 分类的 86.3% 的 top-1 准确率，以及在一系列任务中取得了最先进的性能。

Jan, 2022