Jun, 2024

多光谱 LandSat 图像中烟雾分割的 Transformer 增强 UNet

PDF
TL;DR提出了一种名为 VTrUNet 的新分割模型，通过红、绿、蓝、近红外和两个短波红外波段的图像为输入，捕捉光谱模式和长距离上下文特征，用于检测各种复杂背景下的烟雾。与其他相关模型相比，该模型在烟雾分割中表现最佳，并在预测性能上取得了显著改进。
smokes detectionsatellite imagerysegmentation modelvtrunetsmoke segmentation
发现论文，激发创造
  • SeUNet-Trans: 医学图像分割的简单而有效的 UNet-Transformer 模型

    我们提出了一种简单而有效的 UNet-Transformer（seUNet-Trans）模型，用于医学图像分割，结合了 CNN-based 模型和 Transformer 模型，在多个医学图像分割数据集上进行了广泛实验，显示出优于其他几种先进模型的性能。

    Oct, 2023

  • 深度关注 Unet：具有全局特征感知能力的网络模型

    本文提出了一种基于通道自注意机制和残差连接的新型 UNet 图像分割算法，通过改进图像中不同项目之间的内部连接，显著提高了遮挡遥感图像分割的结果。在 FoodNet 数据集上，与传统 UNet 相比，新的网络模型将平均交并比提高了 2.48%。

    Apr, 2023

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

    利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

    Jan, 2022

  • T-UNet：用于高分辨率遥感影像变化检测的三元 UNet

    远程感知图像变化检测中存在虚警和缺失检测的问题。本论文提出了一种新型网络 Triplet UNet (T-UNet)，通过三支编码器同时提取目标特征和前后时间相位图像之间的变化特征。为了有效地交互和融合三支编码器提取的特征，我们提出了一个多支空间 - 光谱交叉注意力模块 (MBSSCA)。在解码器阶段，引入了通道注意力机制 (CAM) 和空间注意力机制 (SAM)，以充分挖掘浅层的细节纹理信息和深层的语义定位信息。

    Aug, 2023

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • DS-TransUNet: 医学图像分割的双 Swin Transformer U-Net

    本研究提出了 Dual Swin Transformer U-Net (DS-TransUNet) 框架，它是第一次尝试将 Swin Transformer 的优势同时融入到标准 U 形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet 显著优于现有的医学图像分割方法。

    Jun, 2021

  • 使用视觉变换器进行更快速的三维心脏 CT 分割

    心脏准确分割对于个性化血流模拟和手术干预规划至关重要。我们改进了 ViT 以适应三维体积输入，并将其与 ResNet50 和级联上采样相结合的方式构建了 TRUNet。TRUNet 在比传统的 Residual U-Net 更短的时间内收敛，并且能产生与其相媲美或更好的左心室、左心房、左心房附属物、肺动脉和升主动脉的分割效果。 TRUNet 能更准确地分割血管边界，并更好地捕捉到心脏的整体解剖结构，对于医学影像中的三维语义分割任务具有很大潜力。

    Oct, 2023

  • 神经 - TransUNet：使用 Transformer 进行 MRI 中的中风病灶分割

    通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

    Jun, 2024

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023