Apr, 2024

针对医学图像通用分割的混合双金字塔 Transformer-CNN 的注意力门控重新思考

PDF
TL;DR本研究提出了一种新型混合 CNN-Transformer 分割架构 (PAG-TransYnet)，通过在双金字塔混合编码器中利用注意力门，利用金字塔输入突出显示不同尺度的突出特征，将 PVT Transformer 引入以捕获多种分辨率的长距离依赖，并通过实施双注意力门机制来有效融合 CNN 和 Transformer 分支的突出特征。通过对不同分割任务的综合评估，包括腹部多器官分割、感染分割 (新冠肺炎和骨转移)、显微组织分割 (腺体和细胞核)，所提出的方法展现了领先的性能，并展示了出色的泛化能力。该研究在医学成像应用中对于高效和适应性分割解决方案的迫切需求方面取得了重要进展。
transformersmedical imaging segmentationhybrid cnn-transformer architectureattention gatessegmentation tasks
发现论文，激发创造
  • 金字塔医疗转换器用于医学图像分割

    通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取，我们提出了一种称为金字塔医疗变压器（PMTrans）的新型方法，可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明，PMTrans 相较于最新的基于 CNN 和变压器的模型，具有更好的性能。

    Apr, 2021

  • D-TrAttUnet：面向医学图像的通用和细微分割的混合 CNN-Transformer 架构

    近 20 年来，医学影像的机器分析迅猛发展，为几个重要的医疗应用提供了巨大的潜力。其中，病变分割是一个特别具有挑战性的任务，有着迫切的需求，而我们提出的新型解决方案 ——D-TrAttUnet 架构在 Covid-19 和骨转移分割的任务中取得了优越的表现，并且其混合编码器在腺体和细胞核的分割中也表现出色，巩固了它在现代医学图像分析中的地位。

    May, 2024

  • DIAMANT: 双视图注意力映射编码器用于医学图像分割

    本文提出了一种简单的纯卷积神经网络模型，通过从预训练 DINO 模型的多个注意力头中获得的注意力图可视化来提高医学图像分割的性能，并超过了 U-Net 和现有的医学图像分割模型。

    Apr, 2023

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • 医学变压器：门控轴向注意力在医学图像分割中的应用

    本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

    Feb, 2021

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • ParaTransCNN：用于医学图像分割的并行化 TransCNN 编码器

    将卷积神经网络和 Transformer 架构相结合，提出了一种先进的二维特征提取方法，利用平行编码器和通道注意模块实现更好的医学图像分割准确性。

    Jan, 2024

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • Transformer-CNN 融合架构用于增强皮肤病变分割

    通过融合 transformers 和 CNNs，我们提出了一种混合架构用于医学图像分割，旨在克服 CNNs 在捕捉全局依赖性和局部空间细节方面的局限性。我们通过比较各种架构和配置，并进行多次实验来评估它们的有效性。

    Jan, 2024

  • UTNet：一种用于医学图像分割的混合 Transformer 架构

    本研究提出 UTNet，这是一种简单而强大的混合 Transformer 体系结构，它将 self-attention 集成到卷积神经网络中，以增强医学图像分割，通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系，并提出了一种有效的 self-attention 机制与相对位置编码，从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估，所示分割性能优异，对抗最先进的方法表现出很好的鲁棒性，有望在其他医学图像分割中具有广泛的应用前景。

    Jul, 2021