利用混合多任务 CNN-Transformer 网络进行乳腺超声肿瘤分类

Aug, 2023

利用混合多任务 CNN-Transformer 网络进行乳腺超声肿瘤分类

Breast Ultrasound Tumor Classification Using a Hybrid Multitask CNN-Transformer Network

Bryar Shareef, Min Xian, Aleksandar Vakanski, Haotian Wang

TL;DR本研究提出了一种混合多任务深度神经网络 (Hybrid-MT-ESTAN)，用于乳腺超声图像的肿瘤分类和分割，该网络结合了 CNN 和 Swin Transformer 组件，实现了对全局上下文信息的捕捉和局部图像模式的保留，并在一个包含 3320 个超声图像的数据集上与九种分类方法进行了比较，结果表明 Hybrid-MT-ESTAN 取得了 82.7% 的准确率、86.4% 的灵敏度和 86.0% 的 F1 分数。

Abstract

Capturing global contextual information plays a critical role in breast ultrasound (BUS) image classification. Although convolutional neural networks (CNNs) have demonstrated reliable performance in tumor classification, they have inherent limitations for modeling global and long-range

breast ultrasound cnn vision transformers image classification tumor segmentation

发现论文，激发创造

传统方法的超越：乳腺超声诊断的多任务网络

乳腺超声在癌症诊断中起着重要作用，是一种非侵入性、具有成本效益的方法，在肿瘤定位和癌症分类任务中深度学习的发展使得许多基于 CNN 的方法被广泛研究。在本研究中，我们旨在重新设计和构建端到端多任务架构，以进行分割和分类。通过我们提出的方法，在分割任务中，使用 DeepLabV3 + 架构，实现了 79.8% 的卓越性能和时间效率达到 86.4%。

Jan, 2024

Transformers 改善未注册多视角乳腺 X 线诊断

研究使用多视角视觉 Transformer 构建计算机辅助诊断方案，在不需要繁琐的预处理步骤的情况下，基于四张乳腺 X 线照片的 Transformer 模型达到了 81.8% 的诊断准确率，优于当前多视角 CNN 的诊断准确率。

Jun, 2022

超声数据中前列腺癌检测图像变换的基准测试

用深度学习方法结合卷积网络和 transformers 的多尺度方法在前列腺癌的超声图像分类中表现最佳，而多目标学习可以提高性能。

Mar, 2024

Transformer-CNN 融合架构用于增强皮肤病变分割

通过融合 transformers 和 CNNs，我们提出了一种混合架构用于医学图像分割，旨在克服 CNNs 在捕捉全局依赖性和局部空间细节方面的局限性。我们通过比较各种架构和配置，并进行多次实验来评估它们的有效性。

Jan, 2024

多视点 Swin Transformer 的乳房 X 光分类

本文提出了一种创新的基于 Transformer 的多视图网络，用于解决乳房 X 线照片分类中的挑战。我们的方法通过引入一种新颖的基于移动窗口的动态注意力块，促进多视图信息的有效集成，并在空间特征映射级别上促进该信息在视图之间的一致传递。此外，我们使用 CBIS-DDSM 和 Vin-Dr Mammo 数据集对基于 Transformer 的模型在不同设置下的性能和有效性进行了全面的比较分析。我们的代码公开可用于此 https URL。

Feb, 2024

利用 Transformer 改进多模态和纵向数据的乳腺癌分类和风险评估

通过多模态变压器（MMT）神经网络，综合使用乳腺 X 光摄影和超声波，针对目前患癌患者和目前无癌患者，识别患者及估计未来胸部癌症风险的研究表明，MMT 在检测现有癌症方面取得了 AUROC 值为 0.943 的成绩，并超过了单模态基线，对于 5 年风险预测，MMT 实现了 AUROC 值为 0.826，胜过以往基于乳腺 X 光摄影的风险模型。本研究凸显了多模态和纵向成像在癌症诊断和风险分层中的价值。

Nov, 2023

TransMed: 基于 Transformers 的多模态医学图像分类

该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

Mar, 2021

用于胸部 X 射线和胃肠道图像分类的视觉 Transformer

使用不同的卷积神经网络和 Transformer 方法以及广泛的数据增强技术，在三个医学图像数据集上比较了它们的表现，并将视觉 Transformer 模型与其他先进的预训练 CNN 网络进行了评估和比较，在分类不同的解剖结构、所见和异常方面，我们的 Transformer 模型优于或更有效，比 CNN 基于的方法有所改进，建议将其用作算法开发的新基准算法。

Apr, 2023

Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

Jan, 2022

基于 Transformer 的多模态脑肿瘤分割

本文提出了使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割的新网络 TransBTS。该网络同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。

Mar, 2021