Sep, 2023
多维统一Swin Transformer用于多解剖位置的3D病变分割
Multi-dimension unified Swin Transformer for 3D Lesion Segmentation in
Multiple Anatomical Locations
TL;DR在肿瘤学研究中，准确的CT扫描病灶3D分割对于病灶生长动力学的建模至关重要。然而，根据RECIST准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的3D病灶。因此，我们有大量未标记的3D体积和带标签的2D图像，以及稀缺的标记的3D体积，这使得训练深度学习3D分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的Swin Transformer (MDU-ST)，用于3D病灶分割。MDU-ST由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应2D和3D输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的3D病灶体积来学习Swin-transformer编码器中病灶解剖学的潜在模式；2) 对Swin-transformer编码器进行微调，以使用2D RECIST切片执行2D病灶分割，学习切片级分割信息；3) 进一步对Swin-transformer编码器进行微调，以使用带标签的3D体积执行3D病灶分割。该网络的性能通过Dice相似系数 (DSC) 和Hausdorff距离 (HD) 在一个内部的3D病灶数据集上进行评估，其中包含来自多个解剖位置的593个病灶。所提出的MDU-ST相比竞争模型表现出显著改进。该方法可用于进行自动化的3D病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被IEEE国际生物医学成像研讨会(ISBI) 2023接受。