双重自我蒸馏的 U 型网络用于三维医学图像分割
本研究提出了一种新颖的 3D 到 2D 蒸馏框架,利用预训练的 3D 模型增强 2D 单层切片分割,并在 707 个受试者数据集上进行的实验证明,该方法能够改善单层多器官分割的性能,尤其在低数据量情况下表现出色。
Jun, 2024
由于数据不平衡和缺陷的多样性,学生 - 教师网络(S-T)在无监督异常检测中备受青睐,它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏(DSKD)架构来解决原生 S-T 网络不稳定的问题,该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略,即金字塔匹配模式和深度特征嵌入模块,以捕捉异常线索的高维语义信息,该架构可以增强蒸馏效果、改善正常数据的一致性识别,并同时引入多样性来表示异常,最终通过像素级异常分割图和样本判定的异常得分,实现了对三个基准数据集的评估和对内部模块的消融实验,结果显示 DSKD 在小型模型(如 ResNet18)上实现了卓越的性能,并有效改进了原生 S-T 网络。
Feb, 2024
最近对患者特定胸部手术规划和仿真的兴趣日益增加,要求从自动医学影像分割算法中高效、稳健地创建数字解剖模型。深度学习(DL)现在在各种放射学任务中处于领先地位,U 型 DL 模型在医学影像分割方面表现出色,自 2D UNet 的诞生以来已经有很多 U 型模型的变体。目前,尚缺乏对这些模型进行系统的基准研究,尽管最近大规模多标签数据库的发展为该领域提供了机会。我们首次对 3D U 型模型的变体(3DUNet,STUNet,AttentionUNet,SwinUNETR,FocalSegNet 以及一种新的带有四种变体的 3D SwinUnet)进行了基准研究,其重点是基于 CT 的胸部手术解剖分割。我们的研究系统地考察了不同注意力机制、分辨率级别数量和网络配置对分割准确率和计算复杂度的影响,并进行了与最近的其他基准研究的交叉参考,包括对 BTCV 腹部结构分割的性能评估。在 STUNet 排名首位的情况下,我们的研究证明了用于所研究任务的基于 CNN 的 U 型模型的价值,以及在网络配置设计中使用剩余块以提高分割性能的好处。
Feb, 2024
提出了基于编码器解码器的方法 DoubleU-Net,该方法在一些医学图像数据集上的实验证明相比于现有方法可获得更准确的语义分割结果。
Jun, 2020
使用深度条件形状模型 2.0,结合边缘检测器和基于边缘图的隐式形状函数,在低数据环境中实现医学图像分割的高效率,从而提高数据利用率并取得了比基准方法更好的性能。
Jun, 2024
本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法,该方法基于权重转移和维度转移的两个关键原则,实验证明其在多维医学图像分割方面表现出色。
Jul, 2023
本研究提出一种卷积神经网络和自监督学习的方法,用于在有限标记数据情况下进行高效的三维到二维分割,通过在临床相关任务中验证,证明该方法比现有技术在有限标记数据情况下显著提升了分割性能,并且自监督学习方法可以进一步提高性能,而且对于网络架构无关。
Jul, 2023
研究介绍了一个简单而彻底评估的深度学习框架,应用于任意医学图像体的分割,同时不需要任务特定的信息和人为干预。该系统基于一个固定的模型拓扑和固定的超参数集,排除了模型选择的过程和方法级别的过拟合。此外,使用多平面数据增强,结合了一个基于常见 U-Net 的 2D 架构,让 2D 模型学习表示 3D 图像体的表示方法,从而提高了泛化性能。
Nov, 2019
利用深度条件形状模型作为核心组件的新型分割算法,通过深度隐式形状表示学习一个可以为任何感兴趣解剖学生成有符号距离函数的模态不可知形状模型,然后通过解剖标志物对生成的形状进行拟合到图像上,并添加模态依赖的轻量级细化网络以捕捉隐式函数未表示的任何细节,该框架在多种 3D 模态下的心脏左室分割问题上进行评估,自动化的 DCSM 在非对比度 CT 上表现优于基准结果,在对比度 CT 和 3DE 上添加细化后性能得到显著改善,而用户输入标志物的半自动化 DCSM 在全部模态下的 Dice 指数均超过 92%。
Oct, 2023
在肿瘤学研究中,准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而,根据 RECIST 准则,放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶,并在研究目的上勾画少量的 3D 病灶。因此,我们有大量未标记的 3D 体积和带标签的 2D 图像,以及稀缺的标记的 3D 体积,这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型,称为多维统一的 Swin Transformer (MDU-ST),用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成,使其能够适应 2D 和 3D 输入,并在同一编码器中学习相应的语义信息。基于该模型,我们引入了一个三阶段框架:1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式;2) 对 Swin-transformer 编码器进行微调,以使用 2D RECIST 切片执行 2D 病灶分割,学习切片级分割信息;3) 进一步对 Swin-transformer 编码器进行微调,以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估,其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。
Sep, 2023