用于精确生物医学图像分割的多化合物转换器
提出了一种基于全卷积 transformer 的医疗图像分割模型,该模型可处理各种数据模态,能够有效地提取输入图像的语义依存关系并捕获其分层全局属性,并在多个数据集上表现优异,相对于同类模型具有参数少的特点。
Jun, 2022
引入了 U-Transformer 网络,结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制,有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题,在两个腹部 CT 图像数据集上表现出明显的优势。
Mar, 2021
通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上,充分探索 Transformers 在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的 Transformer 编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer 解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。
Oct, 2023
我们提出了一种简单而有效的 UNet-Transformer(seUNet-Trans)模型,用于医学图像分割,结合了 CNN-based 模型和 Transformer 模型,在多个医学图像分割数据集上进行了广泛实验,显示出优于其他几种先进模型的性能。
Oct, 2023
本研究提出了一种新颖的混合变压器模块(MTM),用于同时学习内部和外部联系,通过使用 MTM 构建的混合变压器 U-Net(MT-UNet)来进行精确的医学图像分割,实验结果显示,该方法实现了比其他最新技术方法更好的性能。
Nov, 2021
提出了 MS-Twins(Multi-Scale Twins)分割模型,通过结合不同尺度和级联特征,能更好地捕捉语义和细粒度信息,解决了在医学图像分割中利用自注意力和卷积的最优化问题。在 Synapse 和 ACDC 两个常用数据集上,MS-Twins 相较于现有的网络结构有了显著的进展,在 Synapse 数据集上的性能比 SwinUNet 高出 8%,即使与最佳的完全卷积医学图像分割网络 nnUNet 相比,在 Synapse 和 ACDC 上 MS-Twins 的性能仍然稍有优势。
Dec, 2023
通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取,我们提出了一种称为金字塔医疗变压器(PMTrans)的新型方法,可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明,PMTrans 相较于最新的基于 CNN 和变压器的模型,具有更好的性能。
Apr, 2021
本文提出了一种新的医学图像分割框架 TransUNet,它将 Transformers 和 U-Net 结合起来,通过编码全局上下文和恢复本地细节信息来实现更精确的分割,针对不同的医学应用,TransUNet 优于其他竞争方法。
Feb, 2021
本研究提出 UTNet,这是一种简单而强大的混合 Transformer 体系结构,它将 self-attention 集成到卷积神经网络中,以增强医学图像分割,通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系,并提出了一种有效的 self-attention 机制与相对位置编码,从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估,所示分割性能优异,对抗最先进的方法表现出很好的鲁棒性,有望在其他医学图像分割中具有广泛的应用前景。
Jul, 2021
本文提出了一种基于 Transformer 的新框架,用于学习类别特定的物体定位映射,作为弱监督语义分割的伪标签。通过将多个类别令牌引入 Transformer 中,实现对类别特定注意力的有效捕获,从而生成对应于不同类别令牌的类别判别性的物体定位映射,并进一步利用从 patch-patch Transformer 的注意力中提取的 patch-level 成对亲和力来细化定位图。这个提议的框架可以完全补充 Class Activation Mapping(CAM)方法,提高 WSSS 的结果。
Mar, 2022