CVPRNov, 2022

利用部分标记的数据进行多器官和肿瘤分割的学习

PDF
TL;DR提出了一种基于 Transformer 模型的多动态分割网络 TransDoDNet，在多个部分标记的数据集上学习器官和肿瘤的分割，并创造了一个大规模的部分标记的多器官和肿瘤分割基准 MOTS，结果表明 TransDoDNet 在七项器官和肿瘤分割任务中性能优异。
medical imagesegmentationtransdodnetpartially labeled datasetstransformer
发现论文，激发创造
  • DoDNet: 学习从多个部分标记的数据集中分割多个器官和肿瘤

    本研究提出了一种动态需求网络（DoDNet），用于在仅标注部分器官和 / 或肿瘤的数据集上分割多个器官和肿瘤，通过共享编码器 - 解码器结构、任务编码模块、控制器和动态分割头来生成动态卷积滤波器，相对于现有方法，DoDNet 更加高效，代码和数据集可在链接中获得。

    Nov, 2020

  • 基于 Transformer 的跨模态肿瘤分割的图像级监督和自训练

    我们提出了一种名为 MoDATTS 的新的半监督训练策略，用于处理自动医学图像分割中存在的模态遗传性问题，并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能，并在 BraTS 2020 挑战数据集上显示出一致的改进。

    Sep, 2023

  • D-TrAttUnet：面向医学图像的通用和细微分割的混合 CNN-Transformer 架构

    近 20 年来，医学影像的机器分析迅猛发展，为几个重要的医疗应用提供了巨大的潜力。其中，病变分割是一个特别具有挑战性的任务，有着迫切的需求，而我们提出的新型解决方案 ——D-TrAttUnet 架构在 Covid-19 和骨转移分割的任务中取得了优越的表现，并且其混合编码器在腺体和细胞核的分割中也表现出色，巩固了它在现代医学图像分析中的地位。

    May, 2024

  • 基于多尺度 MPU-Net 的 3D 医学图像分割

    本文提出了一种基于 Transformer 和 MPU-Net 的肿瘤分割模型，该模型结合了图像串行化和位置注意力模块，旨在理解更深层次上的上下文依赖关系和实现更准确的位置定位，并在肝脏肿瘤分割挑战中表现出优异的性能。

    Jul, 2023

  • 腹部多器官和肿瘤分割的持续学习

    本文提出了一种用于连续器官和肿瘤分割任务的创新结构，包括一系列轻量级的、类特定的输出头，以及将对比语言 - 图像预训练嵌入到器官特定的头中。实验结果表明该方法在学习过程中提高了基线神经网络对新引入和先前学习类别的分割性能。

    Jun, 2023

  • 标签高效的多器官分割方法与扩散模型

    本研究提出了一种使用预训练扩散模型进行 CT 图像的多器官分割任务的标签高效学习方法，该方法仅需要少量标记数据，在有限标记数据场景下取得了竞争性的分割性能。

    Feb, 2024

  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • TEC-Net: 视觉 Transformer 集成卷积神经网络用于医学图像分割

    本研究采用混合卷积神经网络和 Transformer 的混合结构，提出了一种具有自适应特征提取能力和具有全局信息建模的方法，用于医学图像分割。实验结果表明，该方法比现有的方法具有更好的医学图像分割结果。

    Jun, 2023

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023