本研究提出了一种新型混合 CNN-Transformer 分割架构 (PAG-TransYnet)，通过在双金字塔混合编码器中利用注意力门，利用金字塔输入突出显示不同尺度的突出特征，将 PVT Transformer 引入以捕获多种分辨率的长距离依赖，并通过实施双注意力门机制来有效融合 CNN 和 Transformer 分支的突出特征。通过对不同分割任务的综合评估，包括腹部多器官分割、感染分割 (新冠肺炎和骨转移)、显微组织分割 (腺体和细胞核)，所提出的方法展现了领先的性能，并展示了出色的泛化能力。该研究在医学成像应用中对于高效和适应性分割解决方案的迫切需求方面取得了重要进展。

Apr, 2024

本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

Feb, 2021

将卷积神经网络和 Transformer 架构相结合，提出了一种先进的二维特征提取方法，利用平行编码器和通道注意模块实现更好的医学图像分割准确性。

Jan, 2024

我们提出了金字塔注意力网络（PAN）用于可变形医学图像配准，通过引入双流金字塔编码器和局部多头注意力变换器实现特征表示和分析运动模式，取得了较好的配准性能。

Feb, 2024

该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

Mar, 2021

通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

Oct, 2023

本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

Jun, 2023

提出了 MS-Twins（Multi-Scale Twins）分割模型，通过结合不同尺度和级联特征，能更好地捕捉语义和细粒度信息，解决了在医学图像分割中利用自注意力和卷积的最优化问题。在 Synapse 和 ACDC 两个常用数据集上，MS-Twins 相较于现有的网络结构有了显著的进展，在 Synapse 数据集上的性能比 SwinUNet 高出 8％，即使与最佳的完全卷积医学图像分割网络 nnUNet 相比，在 Synapse 和 ACDC 上 MS-Twins 的性能仍然稍有优势。

Dec, 2023

本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

Jun, 2021

本篇文章提出了一种特定于医用点云的基于注意力机制的 3D 医用点云 Transformer (3DMedPT) 模型，通过增加上下文信息和在查询时总结局部响应，可以捕捉局部和全局特征交互，同时应用位置嵌入学习准确的局部几何形状和多图推理 (MGR) 来丰富特征表示，在医用数据上的实验表明该方法的分类和分割能力优于其他方法，并且具有良好的泛化能力。

Dec, 2021