Apr, 2023

医学图像分割网络中的 Transformer 利用

PDF
TL;DR通过使用线性算子替换 Transformer 块，量化了 Transformer 在医学图像分割中的效果，实验证明显式特征层次在 Transformer 块中的存在比自我关注模块更有益，但在 Transformer 模块之前应谨慎使用主要的空间下采样。
发现论文，激发创造
  • 医学影像中的 Transformers：一项调查

    综述了 Transformer 在医学图像中的应用，包括分割、检测、分类、重建、合成、配准和临床报告生成等方面，开发了分类法，确定了应用特定的挑战并提供了解决方案和最近的趋势，以及对整个领域的现状进行了批判性的讨论，包括关键挑战、未解决的问题和有前途的未来方向。

    Jan, 2022

  • Transformer-CNN 融合架构用于增强皮肤病变分割

    通过融合 transformers 和 CNNs，我们提出了一种混合架构用于医学图像分割，旨在克服 CNNs 在捕捉全局依赖性和局部空间细节方面的局限性。我们通过比较各种架构和配置，并进行多次实验来评估它们的有效性。

    Jan, 2024

  • 利用压缩与扩张变换的医学图像分割

    研究使用 transformers 和 Squeeze-and-Expansion Transformer 实现医学影像分割，较传统方法显著提高了分割准确度和跨领域泛化性。

    May, 2021

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • MobileUtr: 重访轻量级 CNN 和 Transformer 之间的关系，用于高效的医学图像分割

    轻量级视觉转换 (ViT) 在高效医学图像分割中的应用挑战，本研究重新关注了 CNN 和 Transformer 在轻量级医学图像分割中的关系，并提出了一种融合两者优势的基础架构设计，实现了有效的医学图像分割模型 (MobileUtr)。在五个公开医学图像数据集上的广泛实验验证了 MobileUtr 的优越性，同时具备更轻的权重和更低的计算成本。

    Dec, 2023

  • SeUNet-Trans: 医学图像分割的简单而有效的 UNet-Transformer 模型

    我们提出了一种简单而有效的 UNet-Transformer（seUNet-Trans）模型，用于医学图像分割，结合了 CNN-based 模型和 Transformer 模型，在多个医学图像分割数据集上进行了广泛实验，显示出优于其他几种先进模型的性能。

    Oct, 2023

  • 用于高效和鲁棒的脑损伤分割的大核心注意力

    我们提出了一个全卷积变种的 U-Net 结构的转换器模块，用于建模 3D 脑损伤分割的远程交互，证明了我们的模型在三个因素中提供了最大的妥协点：与最先进技术相竞争的性能；卷积神经网络的参数效率；以及转换器的有利归纳偏差。

    Aug, 2023

  • TransMed: 基于 Transformers 的多模态医学图像分类

    该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

    Mar, 2021

  • TransFuse：将 Transformer 和 CNN 融合用于医学图像分割

    本文介绍了用于医学图像分割的 TransFuse 并行网络结构，将 Transformers 和 CNNs 并置，以有效地捕捉全局依赖关系和低级别空间细节，且使用了一种新的特征融合方法 —BiFusion 模块来融合两个分支的多级特征。实验结果表明，TransFuse 在医学图像分割任务中的性能优于目前最先进的技术，同时在参数数量和推断速度上也有显著改进。

    Feb, 2021

  • 基于 Transformer 的卒中分割架构：综述

    依赖于诊断工具及深度学习方法，该论文旨在探索基于 Transformer 的创新架构在中风分割领域的应用，提供详细的分析和评估，同时探讨未来的研究发展方向。

    Mar, 2024