混合 Transformer U-Net 用于医学图像分割
引入了 U-Transformer 网络,结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制,有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题,在两个腹部 CT 图像数据集上表现出明显的优势。
Mar, 2021
本研究提出了一种统一的变形器网络,称为多化合物变形器(MCTrans),可嵌入 UNet-like 网络中,并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入,引入了可学习的代理嵌入来模拟语义关系和特征增强。
Jun, 2021
通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上,充分探索 Transformers 在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的 Transformer 编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer 解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。
Oct, 2023
本研究提出 UTNet,这是一种简单而强大的混合 Transformer 体系结构,它将 self-attention 集成到卷积神经网络中,以增强医学图像分割,通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系,并提出了一种有效的 self-attention 机制与相对位置编码,从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估,所示分割性能优异,对抗最先进的方法表现出很好的鲁棒性,有望在其他医学图像分割中具有广泛的应用前景。
Jul, 2021
本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性,并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明,在三组不同的医学图像数据集上,该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。
Feb, 2021
提出了 MS-Twins(Multi-Scale Twins)分割模型,通过结合不同尺度和级联特征,能更好地捕捉语义和细粒度信息,解决了在医学图像分割中利用自注意力和卷积的最优化问题。在 Synapse 和 ACDC 两个常用数据集上,MS-Twins 相较于现有的网络结构有了显著的进展,在 Synapse 数据集上的性能比 SwinUNet 高出 8%,即使与最佳的完全卷积医学图像分割网络 nnUNet 相比,在 Synapse 和 ACDC 上 MS-Twins 的性能仍然稍有优势。
Dec, 2023
提出了一种全局 - 局部的 U-Netmer 方法,将 U-Net 与 Transformer 结合,用于医学图像分割,解决了 “token-flatten” 和 “scale-sensitivity” 的问题,并在 7 个公共数据库和 4 种成像模式上进行了广泛的实验,证明了其能够提高医学图像分割的准确性。
Apr, 2023
本文提出了一种新的医学图像分割框架 TransUNet,它将 Transformers 和 U-Net 结合起来,通过编码全局上下文和恢复本地细节信息来实现更精确的分割,针对不同的医学应用,TransUNet 优于其他竞争方法。
Feb, 2021
我们提出了一种新的变换器解码器 U-MixFormer,基于 U-Net 结构设计的,用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询,我们的方法与以前的变换器方法有所不同。此外,我们创新地混合来自各个编码器和解码器阶段的分层特征图,形成一个统一的键和值表示,从而产生我们独特的混合注意模块。大量实验证明,U-MixFormer 在各种配置上表现出色,并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。
Dec, 2023
通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取,我们提出了一种称为金字塔医疗变压器(PMTrans)的新型方法,可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明,PMTrans 相较于最新的基于 CNN 和变压器的模型,具有更好的性能。
Apr, 2021