Jun, 2024

视觉 xLSTM 嵌入的 UNet 在医学三维图像分割中更可靠吗？

PDF
TL;DR这篇论文研究了将 CNN 和 Vision-xLSTM 模型相结合的新方法 UVixLSTM，提出了它作为医学图像分割任务可靠的主干结构，提供出色的分割性能和较低的计算复杂性，并在公开可用的 Synapse 数据集上展现了卓越的性能。
medical image segmentationconvolutional neural networksvision transformersvision-xlstmcomputational complexity
发现论文，激发创造
  • xLSTM-UNet 可作为一个有效的 2D 和 3D 医学图像分割骨干，其 Vision-LSTM (ViL) 相较于其 Mamba 对应物更佳

    提出了 xLSTM-UNet，这是一种基于 Convolutional Neural Networks 和 Vision Transformers 的深度学习神经网络，用于解决生物医学图像分割中的长距离依赖性问题，并通过实验证实了其在多个数据集中超越了其他基于 CNN、Transformer 和 Mamba 的分割网络，表明了 xLSTM-UNet 在 2D 和 3D 生物医学图像分析中的潜力。

    Jul, 2024

  • 用于高效和鲁棒的脑损伤分割的大核心注意力

    我们提出了一个全卷积变种的 U-Net 结构的转换器模块，用于建模 3D 脑损伤分割的远程交互，证明了我们的模型在三个因素中提供了最大的妥协点：与最先进技术相竞争的性能；卷积神经网络的参数效率；以及转换器的有利归纳偏差。

    Aug, 2023

  • MobileUtr: 重访轻量级 CNN 和 Transformer 之间的关系，用于高效的医学图像分割

    轻量级视觉转换 (ViT) 在高效医学图像分割中的应用挑战，本研究重新关注了 CNN 和 Transformer 在轻量级医学图像分割中的关系，并提出了一种融合两者优势的基础架构设计，实现了有效的医学图像分割模型 (MobileUtr)。在五个公开医学图像数据集上的广泛实验验证了 MobileUtr 的优越性，同时具备更轻的权重和更低的计算成本。

    Dec, 2023

  • Seg-LSTM: 遥感图像语义分割的 xLSTM 性能

    近期自回归网络的线性复杂度提升极大地推动了研究进展，在大型语言模型上表现出色。代表性模型为扩展长短期记忆网络 (xLSTM)，其融合了门控机制和记忆结构，在长序列语言任务上与 Transformer 架构可媲美。自回归网络如 xLSTM 可利用图像串行化扩展其应用于诸如分类和分割等视觉任务。尽管现有研究已经在图像分类方面证明了 Vision-LSTM 的出色结果，但其在图像语义分割方面的表现尚未得到验证。我们的研究首次尝试评估 Vision-LSTM 在遥感图像语义分割中的有效性。此评估基于一种名为 Seg-LSTM 的经过专门设计的编码器 - 解码器架构，并与目前最先进的分割网络进行比较。我们的研究发现 Vision-LSTM 在语义分割方面的表现受限，一般较 Vision-Transformers 和 Vision-Mamba 模型差强人意。建议未来研究方向是增强 Vision-LSTM。源代码可从此链接获取。

    Jun, 2024

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • UNETR: 用于 3D 医学图像分割的变压器

    本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

    Mar, 2021

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • ViM-UNet：用于生物医学分割的视觉玛巴

    基于 Vision Mamba 架构的 ViM-UNet 是一种新颖的分割架构，与 UNet 和 UNETR 相比，在两个具有挑战性的显微镜实例分割任务中表现相似或更好，同时更加高效。

    Apr, 2024

  • LeViT-UNet：使用 Transformer 加速编码器进行医学图像分割

    本文提出了一种将 LeViT Transformer 模块集成到 U-Net 结构中的快速、准确的医学图像分割解决方案，该方案在多项挑战性医学图像分割基准测试中展示了良好的性能。

    Jul, 2021