提出了一种新型的注意力门模型，可自动学习聚焦各种形状和大小的目标结构，在卷积神经网络模型中集成可以提高模型灵敏度和预测准确性并加速计算，应用于医学图像分类和分割任务中可提高模型预测性能并改进其启发机制。

Aug, 2018

本文探讨了Transformer网络架构在医学图像分割任务中的可行性，并提出了一种Gated Axial-Attention模型和Local-Global训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该Medical Transformer模型优于卷积和其他相关的Transformer-based架构。

Feb, 2021

引入了U-Transformer网络，结合了用于图像分割的U形模型和Transformer的自注意和交叉注意力机制，有效地克服了U-Net难以对长程上下文交互和空间依赖性建模的问题，在两个腹部CT图像数据集上表现出明显的优势。

Mar, 2021

本文介绍了Voxel Transformer( VoTr)，这是一种用于3D目标检测的新型有效的基于体素的Transformer骨干网络。我们通过引入基于Transformer的体系结构来解决仅使用体素的3D卷积骨干不能有效地捕获大的上下文信息的问题，并且我们提出的VoTr在KITTI议会和Waymo开放数据集上展现了良好的性能。

Sep, 2021

本篇文章提出了一种特定于医用点云的基于注意力机制的3D医用点云Transformer (3DMedPT)模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理(MGR)来丰富特征表示，在医用数据上的实验表明该方法的分类和分割能力优于其他方法，并且具有良好的泛化能力。

Dec, 2021

本文综述Transformer模型在医学图像处理中的应用，包括使用注意力机制编码-解码结构的Transformer模型与卷积神经网络的比较，基于Transformer模型的医学图像分类、分割、配准和重建方法，以及与CNNs模型在标准医学数据集上的性能比较。

Nov, 2022

本研究探讨了使用DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

Jun, 2023

通过在2D TransUNet体系结构的基础上建立在最先进nnU-Net体系结构的基础上，充分探索Transformers在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的Transformer编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和U-Net特征之间的交叉注意力进行候选区域的精炼的Transformer解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于Transformer的编码器和解码器集成到U型医学图像分割体系结构中的巨大潜力。TransUNet在各种医学应用中超越竞争对手。

Oct, 2023

SegFormer3D是一种记忆高效的分层Transformer，在3D医学图像分割中拥有比当前最先进模型更少的参数和更低的GFLOPS，并在Synapse、BRaTs和ACDC等广泛使用的数据集上取得竞争性结果。

Apr, 2024

通过引入结构感知偏置的UNet Structured Transformer（UNest）架构，本研究成功提高了在无配对数据的情况下进行医学图像合成的性能，实现了新的医学图像合成方法，在三个模态（MR、CT和PET）的两个公共数据集上，相对于最近的方法改进了高达19.30%的六个医学图像合成任务的性能。

Jun, 2024