U-MixFormer:混合注意力的类 UNet Transformer 进行高效语义分割
本文提出了一个统一的框架,它由两个体系结构组成,称为 UNetFormer,具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练,使用 Medical Segmentation Decathlon(MSD)数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试,并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割,并在 Dice 评分方面优于其他方法。
Apr, 2022
SegFormer 是一种简单、高效而强大的语义分割框架,它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在,并为 SegFormer 构建了一系列模型,其中最好的模型 - SegFormer-B5,在 Cityscapes 验证集上达到了 84.0%的 mIoU,显示了出色的零 - shot 鲁棒性。
May, 2021
通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上,充分探索 Transformers 在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的 Transformer 编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer 解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。
Oct, 2023
提出了一种全局 - 局部的 U-Netmer 方法,将 U-Net 与 Transformer 结合,用于医学图像分割,解决了 “token-flatten” 和 “scale-sensitivity” 的问题,并在 7 个公共数据库和 4 种成像模式上进行了广泛的实验,证明了其能够提高医学图像分割的准确性。
Apr, 2023
本研究提出 UTNet,这是一种简单而强大的混合 Transformer 体系结构,它将 self-attention 集成到卷积神经网络中,以增强医学图像分割,通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系,并提出了一种有效的 self-attention 机制与相对位置编码,从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估,所示分割性能优异,对抗最先进的方法表现出很好的鲁棒性,有望在其他医学图像分割中具有广泛的应用前景。
Jul, 2021
本文提出了一种新的医学图像分割框架 TransUNet,它将 Transformers 和 U-Net 结合起来,通过编码全局上下文和恢复本地细节信息来实现更精确的分割,针对不同的医学应用,TransUNet 优于其他竞争方法。
Feb, 2021
本研究提出了一种名为 DA-TransUNet 的新型深度医学图像分割框架,将 Transformer 和双注意力块引入传统 U 形架构的编码器和解码器中,通过注意力机制和多方面特征提取来增强医学图像分割,并通过实验结果证明 DA-TransUNet 在各个医学图像分割基准测试中显著优于现有方法。
Oct, 2023
使用 transformers 建立了一种稳健的跟踪框架 MixFormer,采用混合注意力模块(MAM)实现了特征提取和目标信息的同步建模,同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。
Mar, 2022
提出了一种基于 Transformer 的医学图像分割方法 ——MISSFormer,通过改良的 Transformer 块和上下文桥,结合 CNN 和 Transformer 的优点,在医学图像分割任务上获得了优秀的性能,代码已开源。
Sep, 2021
我们提出了一种简单而有效的 UNet-Transformer(seUNet-Trans)模型,用于医学图像分割,结合了 CNN-based 模型和 Transformer 模型,在多个医学图像分割数据集上进行了广泛实验,显示出优于其他几种先进模型的性能。
Oct, 2023