Apr, 2023

DIAMANT: 双视图注意力映射编码器用于医学图像分割

PDF
TL;DR本文提出了一种简单的纯卷积神经网络模型，通过从预训练 DINO 模型的多个注意力头中获得的注意力图可视化来提高医学图像分割的性能，并超过了 U-Net 和现有的医学图像分割模型。
transformer-based architecturescnnmedical imaging segmentationself-superviseddino
发现论文，激发创造
  • D-TrAttUnet：面向医学图像的通用和细微分割的混合 CNN-Transformer 架构

    近 20 年来，医学影像的机器分析迅猛发展，为几个重要的医疗应用提供了巨大的潜力。其中，病变分割是一个特别具有挑战性的任务，有着迫切的需求，而我们提出的新型解决方案 ——D-TrAttUnet 架构在 Covid-19 和骨转移分割的任务中取得了优越的表现，并且其混合编码器在腺体和细胞核的分割中也表现出色，巩固了它在现代医学图像分析中的地位。

    May, 2024

  • 针对医学图像通用分割的混合双金字塔 Transformer-CNN 的注意力门控重新思考

    本研究提出了一种新型混合 CNN-Transformer 分割架构 (PAG-TransYnet)，通过在双金字塔混合编码器中利用注意力门，利用金字塔输入突出显示不同尺度的突出特征，将 PVT Transformer 引入以捕获多种分辨率的长距离依赖，并通过实施双注意力门机制来有效融合 CNN 和 Transformer 分支的突出特征。通过对不同分割任务的综合评估，包括腹部多器官分割、感染分割 (新冠肺炎和骨转移)、显微组织分割 (腺体和细胞核)，所提出的方法展现了领先的性能，并展示了出色的泛化能力。该研究在医学成像应用中对于高效和适应性分割解决方案的迫切需求方面取得了重要进展。

    Apr, 2024

  • DA-TransUNet：利用 Transformer U-Net 集成空间和通道双重注意力进行医学图像分割

    本研究提出了一种名为 DA-TransUNet 的新型深度医学图像分割框架，将 Transformer 和双注意力块引入传统 U 形架构的编码器和解码器中，通过注意力机制和多方面特征提取来增强医学图像分割，并通过实验结果证明 DA-TransUNet 在各个医学图像分割基准测试中显著优于现有方法。

    Oct, 2023

  • 医学变压器：门控轴向注意力在医学图像分割中的应用

    本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

    Feb, 2021

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • MaxViT-UNet: 医学图像分割的多轴注意力

    提出了 MaxViT-UNet，一种基于编码器 - 解码器的混合视觉 Transformer，用于医学图像分割，其使用多轴自注意力机制实现了胞核区域的准确分割，并在 MoNuSeg 数据集上实现了比以前的 CNN only 和 Transformer only 技术更好的 Dice 指标。

    May, 2023

  • UTNet：一种用于医学图像分割的混合 Transformer 架构

    本研究提出 UTNet，这是一种简单而强大的混合 Transformer 体系结构，它将 self-attention 集成到卷积神经网络中，以增强医学图像分割，通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系，并提出了一种有效的 self-attention 机制与相对位置编码，从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估，所示分割性能优异，对抗最先进的方法表现出很好的鲁棒性，有望在其他医学图像分割中具有广泛的应用前景。

    Jul, 2021

  • U-Net Transformer：医学图像分割的自注意力和交叉注意力模型

    引入了 U-Transformer 网络，结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制，有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题，在两个腹部 CT 图像数据集上表现出明显的优势。

    Mar, 2021

  • 金字塔医疗转换器用于医学图像分割

    通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取，我们提出了一种称为金字塔医疗变压器（PMTrans）的新型方法，可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明，PMTrans 相较于最新的基于 CNN 和变压器的模型，具有更好的性能。

    Apr, 2021