预训练变换器用于肺癌分割的可信度

Mar, 2024

预训练变换器用于肺癌分割的可信度

Trustworthiness of Pretrained Transformers for Lung Cancer Segmentation

Aneesh Rangnekar, Nishant Nadkarni, Jue Jiang, Harini Veeraraghavan

TL;DR基于 670 个 CT 和 MRI 扫描，评估了两个自监督预训练的 Transformer 模型 Swin UNETR 和 SMIT 在肺肿瘤细分领域的可信度。模型表现出了较高的准确性和稳健性，并在不同领域的 CT 和 MRI 扫描中展现了良好的分割性能。研究结果有望在临床中指导当前和未来预训练模型的安全开发和应用。

Abstract

We assessed the trustworthiness of two self-supervision pretrained transformer models, Swin UNETR and SMIT, for fine-tuned lung (LC) tumor segmentation using 670 CT and mri scans. We measured segmentation accuracy on two public 3D-CT datasets, robustness on →

self-supervision pretrained transformer models lung tumor segmentation ct scans mri scans zero-shot generalization

发现论文，激发创造

Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

Jan, 2022

基于改进的 Swin Transformer 的高效肺癌图像分类与分割算法

本文提出了一种基于有效 Transformer 模型的肺癌图像分类和分割方法，将计算机视觉技术应用于医学图像分析，可为医务人员提供高效的技术支持。在多个方面对实验结果进行了评估和比较，并证明该算法可以很好地应用于肺癌分类和分割任务。

Jul, 2022

Swin Transformer 自监督预训练用于三维医学图像分析

本文介绍了一种自我监督学习框架，使用适合医学图像分析的代理任务，成功地在各种人体器官的公开可用的 CT 图像上预训练模型，并在医学分割基准数据集上进行了微调，实现了最先进的匹配结果。

Nov, 2021

自我监督学习提高深度学习对 CT 图像差异的肺肿瘤分割的鲁棒性

自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的 CT 图像差异具有更高的适应性，同时 Swin 架构从这种预训练中受益更多。

May, 2024

Swin SMT：3D 医学图像分割中的全局序列建模

基于 Swin UNETR 架构，引入了 Soft Mixture Transformer（Swin SMT）模型，该模型使用 Soft MoE 处理复杂和多样的远距离依赖关系，在 WBCT 扫描中超越了其他方法，在三维解剖结构分割方面取得了 85.09% 的平均 Dice 相似系数。

Jul, 2024

多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

Sep, 2023

神经 - TransUNet：使用 Transformer 进行 MRI 中的中风病灶分割

通过将 U-Net 的空间特征提取与 SwinUNETR 的全局上下文处理能力相结合，再进一步采用先进的特征融合和分割合成技术，提出了 Neuro-TransUNet 框架。通过全面的数据预处理管道改进了这一框架的效率，包括重采样、偏差校正和数据标准化，提高了数据质量和一致性。消融研究证实了 U-Net 与 SwinUNETR 的先进集成以及数据预处理管道对性能的重要影响，并证明了该模型的有效性。使用 ATLAS v2.0 训练数据集训练的所提出的 Neuro-TransUNet 模型在中风病变分割方面优于现有的深度学习算法，并建立了一个新的基准。

Jun, 2024

使用自监督预训练的十字形窗口变换器，在双参数磁共振成像中检测临床上显著的前列腺癌

本研究通过引入自监督预训练框架，提出了一种全新的端到端 Cross-Shaped windows (CSwin) transformer UNet 模型，用于检测临床重要的前列腺癌症，通过在大量未标记的数据上进行学习，提高数据效率和网络的泛化能力，成功地提高了模型性能。

Apr, 2023

食管癌与危及器官的自监督学习及其不确定性量化分割

本研究旨在展示自我监督预训练模型在器官风险和肿瘤分割任务中相对于昂贵的全监督学习的影响，所提出的 MC-Swin-U 算法采用了蒙特卡罗变换器，与许多其他模型不同，其使用蒙特卡罗 Dropout 戳降低了不确定性，并在公共和私人数据集上进行了测试和验证，相比大规模注释成本提供了附加收益，并且明显提高了分割评分。

May, 2023

Swin UNETR++：将基于 Transformer 的浓度预测推进至完全自动化的放射治疗

放射治疗学领域能够受益于使用人工智能完全自动化创建癌症治疗的辐射治疗计划。本研究提出了 Swin UNETR++，包含一个轻量级的 3D 双重交叉注意力（DCA）模块，以捕获每个患者独特解剖结构内部和体积间的关联，从而弥补了完全卷积神经网络的不足。我们的模型在 Open Knowledge-Based Planning 数据集上进行了训练、验证和测试。除了定量评估预测和真实 3D 辐射剂量分布之间的差异的剂量分数 δS 和剂量体积直方图分数 δDVH 之外，我们提出了平均体积级验收率 δRVA 和平均患者级临床验收率 δRPA 这两个定性评估指标来评估预测的临床可靠性。Swin UNETR++ 在验证和测试数据集上表现出接近最先进的性能，为将 3D 剂量预测转化为可交付的治疗计划，从而实现全自动化提供了基础。

Nov, 2023