Nov, 2023

利用 Transformer 改进多模态和纵向数据的乳腺癌分类和风险评估

PDF
TL;DR通过多模态变压器（MMT）神经网络，综合使用乳腺 X 光摄影和超声波，针对目前患癌患者和目前无癌患者，识别患者及估计未来胸部癌症风险的研究表明，MMT 在检测现有癌症方面取得了 AUROC 值为 0.943 的成绩，并超过了单模态基线，对于 5 年风险预测，MMT 实现了 AUROC 值为 0.826，胜过以往基于乳腺 X 光摄影的风险模型。本研究凸显了多模态和纵向成像在癌症诊断和风险分层中的价值。
breast cancer screeningmammographyultrasoundmulti-modal transformercancer diagnosis
发现论文，激发创造
  • Transformers 改善未注册多视角乳腺 X 线诊断

    研究使用多视角视觉 Transformer 构建计算机辅助诊断方案，在不需要繁琐的预处理步骤的情况下，基于四张乳腺 X 线照片的 Transformer 模型达到了 81.8% 的诊断准确率，优于当前多视角 CNN 的诊断准确率。

    Jun, 2022

  • 利用混合多任务 CNN-Transformer 网络进行乳腺超声肿瘤分类

    本研究提出了一种混合多任务深度神经网络 (Hybrid-MT-ESTAN)，用于乳腺超声图像的肿瘤分类和分割，该网络结合了 CNN 和 Swin Transformer 组件，实现了对全局上下文信息的捕捉和局部图像模式的保留，并在一个包含 3320 个超声图像的数据集上与九种分类方法进行了比较，结果表明 Hybrid-MT-ESTAN 取得了 82.7% 的准确率、86.4% 的灵敏度和 86.0% 的 F1 分数。

    Aug, 2023

  • 通过统一和定制指令调整，学习一种多任务变压器用于胸片解读

    基于多模态深度学习模型的临床应用中的多任务程序，我们提出了一个统一的变压器模型，通过整合定制化指令调整，将不同的视觉密集型任务统一在一个训练框架中，以增加临床解释性和在不同胸部 X 光基准测试中表现出的优越性能。

    Nov, 2023

  • 多视点 Swin Transformer 的乳房 X 光分类

    本文提出了一种创新的基于 Transformer 的多视图网络，用于解决乳房 X 线照片分类中的挑战。我们的方法通过引入一种新颖的基于移动窗口的动态注意力块，促进多视图信息的有效集成，并在空间特征映射级别上促进该信息在视图之间的一致传递。此外，我们使用 CBIS-DDSM 和 Vin-Dr Mammo 数据集对基于 Transformer 的模型在不同设置下的性能和有效性进行了全面的比较分析。我们的代码公开可用于此 https URL。

    Feb, 2024

  • 传统方法的超越：乳腺超声诊断的多任务网络

    乳腺超声在癌症诊断中起着重要作用，是一种非侵入性、具有成本效益的方法，在肿瘤定位和癌症分类任务中深度学习的发展使得许多基于 CNN 的方法被广泛研究。在本研究中，我们旨在重新设计和构建端到端多任务架构，以进行分割和分类。通过我们提出的方法，在分割任务中，使用 DeepLabV3 + 架构，实现了 79.8% 的卓越性能和时间效率达到 86.4%。

    Jan, 2024

  • 使用启发式辅助的 Trans-Res-U-Net 和多尺度 DenseNet 进行乳腺癌智能诊断

    通过提出的深度学习方法，利用乳房 X 线摄影图像进行乳腺癌筛查，本研究展示了该方法在早期疾病检测方面具有更高的准确率，从而有可能提升基于乳房 X 线摄影的筛查方法学。

    Oct, 2023

  • mmFormer：用于不完整多模态脑肿瘤分割的多模态医学 Transformer

    该研究提出了一种多模态医学 Transformer (mnFormer)，用于不完整多模态学习的脑肿瘤分割，并且该方法在 BraTS 2018 数据集上显示出了比现有方法更好的表现。

    Jun, 2022

  • 基于 Transformer 的多模态脑卒中治疗分类结果预测

    本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预测中风治疗的功能结果。结果表明，单模态文本分类的性能明显优于单模态图像分类，但多模态组合的效果优于任何单模态。尽管 Transformer 模型在成像数据上的性能不佳，但当与临床元诊断信息结合时，两者都能学习到更好的互补信息，并为准确预测中风治疗效果做出良好贡献。

    Apr, 2024

  • 一种启用 Transformer 架构的综合多模态深度学习生存预测方法：一个胶质母细胞瘤多中心研究

    通过整合磁共振图像、临床数据和分子病理数据，应用基于 transformer 的深度学习模型改进了胶质母细胞瘤存活预测，在处理数据异质性和性能泛化性方面取得了突破。

    May, 2024

  • 一种基于 Transformer 的表征学习模型，用于临床诊断的多模态输入统一处理

    我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

    Jun, 2023