本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

Mar, 2021

通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

Oct, 2023

我们提出了一种简单而有效的 UNet-Transformer（seUNet-Trans）模型，用于医学图像分割，结合了 CNN-based 模型和 Transformer 模型，在多个医学图像分割数据集上进行了广泛实验，显示出优于其他几种先进模型的性能。

Oct, 2023

介绍了一种基于 Vision Transformer 的新方法 CellViT，利用大规模的预训练模型，在 PanNuke 数据集上实现对细胞核的自动检测和实例分割的最新性能，并获得了 0.51 的平均全景质量和 0.83 的 F1 检测分数。

Jun, 2023

本文提出了使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割的新网络 TransBTS。该网络同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。

Mar, 2021

利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

Jan, 2022

本文提出了一种新的医学图像分割框架 TransUNet，它将 Transformers 和 U-Net 结合起来，通过编码全局上下文和恢复本地细节信息来实现更精确的分割，针对不同的医学应用，TransUNet 优于其他竞争方法。

Feb, 2021

通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

Jun, 2024

研究使用 transformers 和 Squeeze-and-Expansion Transformer 实现医学影像分割，较传统方法显著提高了分割准确度和跨领域泛化性。

May, 2021

近 20 年来，医学影像的机器分析迅猛发展，为几个重要的医疗应用提供了巨大的潜力。其中，病变分割是一个特别具有挑战性的任务，有着迫切的需求，而我们提出的新型解决方案 ——D-TrAttUnet 架构在 Covid-19 和骨转移分割的任务中取得了优越的表现，并且其混合编码器在腺体和细胞核的分割中也表现出色，巩固了它在现代医学图像分析中的地位。

May, 2024