Oct, 2023

MIST：具有卷积注意力混合（CAM）解码器的医学图像分割变压器

PDF
TL;DR提出了一种 Medical Image Segmentation Transformer (MIST) 用于医学图像分割，其中包括一个新型的 Convolutional Attention Mixing (CAM) decoder，通过 skip connections 抑制不必要的信息，实验结果在 ACDC 和 Synapse 数据集上显示，我们的 MIST transformer with CAM decoder 优于专门设计用于医学图像分割的最先进模型。
发现论文，激发创造
  • TiC: 探索卷积中的视觉变换器

    通过结合 Self-Attention 与广义卷积（包括标准卷积、空洞卷积和深度卷积），Multi-Head Self-Attention Convolution (MSA-Conv) 扩展了 Transformer 模型，使其能够处理不同尺寸的图像，降低了计算成本，并且通过引入两种增强策略实现了长距离连接和扩大的感受野，而在图像分类任务中，Vision Transformer in Convolution (TiC) 利用了 MSA-Conv，在 ImageNet-1K 数据集上与目前最先进的方法具有可比性。

    Oct, 2023

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • MaxViT-UNet: 医学图像分割的多轴注意力

    提出了 MaxViT-UNet，一种基于编码器 - 解码器的混合视觉 Transformer，用于医学图像分割，其使用多轴自注意力机制实现了胞核区域的准确分割，并在 MoNuSeg 数据集上实现了比以前的 CNN only 和 Transformer only 技术更好的 Dice 指标。

    May, 2023

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • 面向立体图像压缩的内容感知遮罩图像建模变换器

    该研究提出了一种名为 CAMSIC 的立体图像压缩框架，通过引入一种新颖的内容感知蒙版图像建模（MIM）技术，以独立地将每个图像转换为潜在表示，并采用强大的无解码器 Transformer 熵模型，来捕捉立体图像中的空间位移特征，从而实现了最新的速率失真性能。

    Mar, 2024

  • MAST：具有混合注意力孪生变换器的视频息肉分割

    通过利用混合注意力 Siamese Transformer（MAST）显式地建模长距离时空关系进行精确的息肉分割，本研究在大规模 SUN-SEG 基准测试中展示了 MAST 相比先进竞争对手的卓越性能。

    Jan, 2024

  • MS-Twins: 多尺度深度自注意力网络用于医学图像分割

    提出了 MS-Twins（Multi-Scale Twins）分割模型，通过结合不同尺度和级联特征，能更好地捕捉语义和细粒度信息，解决了在医学图像分割中利用自注意力和卷积的最优化问题。在 Synapse 和 ACDC 两个常用数据集上，MS-Twins 相较于现有的网络结构有了显著的进展，在 Synapse 数据集上的性能比 SwinUNet 高出 8％，即使与最佳的完全卷积医学图像分割网络 nnUNet 相比，在 Synapse 和 ACDC 上 MS-Twins 的性能仍然稍有优势。

    Dec, 2023

  • 医学变压器：门控轴向注意力在医学图像分割中的应用

    本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

    Feb, 2021

  • 用于精确生物医学图像分割的多化合物转换器

    本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

    Jun, 2021

  • CATS v2：用于鲁棒医学分割的混合编码器

    我们进一步扩展了我们以前的工作，并提出了具有混合编码器的 CATS v2。具体来说，混合编码器由一个基于 CNN 的编码器路径和一个具有移位窗口的 transformer 路径组成，更好地利用了本地和全局信息来产生稳健的 3D 医学图像分割。我们在两个公共挑战数据集上评估了所提出的方法，并与最先进的方法进行了比较，在 Dice 分数方面表现出卓越的性能。

    Aug, 2023