Mar, 2021

CoTr：高效地连接 CNN 和 Transformer 用于 3D 医学图像分割

PDF
TL;DR提出了一种 CoTr 框架，将卷积神经网络和 Transformer 相结合，利用 DeTrans 的可变形注意机制有效地处理高分辨率的 3D 医学图像，对 11 个主要人体器官进行的广泛评估显示，CoTr 相对于其他 CNN、Transformer 和混合方法在 3D 多器官分割任务中具有显著的性能优势。
convolutional neural networktransformer3d medical image segmentationdeformable self-attention mechanismmulti-atlas labeling
发现论文，激发创造
  • UNETR: 用于 3D 医学图像分割的变压器

    本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

    Mar, 2021

  • ParaTransCNN：用于医学图像分割的并行化 TransCNN 编码器

    将卷积神经网络和 Transformer 架构相结合，提出了一种先进的二维特征提取方法，利用平行编码器和通道注意模块实现更好的医学图像分割准确性。

    Jan, 2024

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • C2FTrans: 用于医学图像分割的粗 - 细双向变换器

    本文提出了一种新颖的多尺度架构 C2FTrans，它将医学图像分割形式化为粗 - 细过程。其中包含了一个跨尺度全局 Transformer 和一个边界感知局部 Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有 CNN 和基于 Transformer 的方法的表现。

    Jun, 2022

  • TransFuse：将 Transformer 和 CNN 融合用于医学图像分割

    本文介绍了用于医学图像分割的 TransFuse 并行网络结构，将 Transformers 和 CNNs 并置，以有效地捕捉全局依赖关系和低级别空间细节，且使用了一种新的特征融合方法 —BiFusion 模块来融合两个分支的多级特征。实验结果表明，TransFuse 在医学图像分割任务中的性能优于目前最先进的技术，同时在参数数量和推断速度上也有显著改进。

    Feb, 2021

  • TransMed: 基于 Transformers 的多模态医学图像分类

    该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

    Mar, 2021

  • 基于 Transformer 的多模态脑肿瘤分割

    本文提出了使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割的新网络 TransBTS。该网络同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。

    Mar, 2021

  • 用于高效和鲁棒的脑损伤分割的大核心注意力

    我们提出了一个全卷积变种的 U-Net 结构的转换器模块，用于建模 3D 脑损伤分割的远程交互，证明了我们的模型在三个因素中提供了最大的妥协点：与最先进技术相竞争的性能；卷积神经网络的参数效率；以及转换器的有利归纳偏差。

    Aug, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023