Aug, 2023

CheXFusion: 多视角特征有效融合用于长尾胸部 X 射线分类的转换器

PDF
TL;DR本研究通过引入 CheXFusion，一个基于 transformer 的融合模块，结合多视图图像处理，通过自注意力和交叉注意力机制，高效聚合多视图特征并考虑标签的共现作用，进一步探索数据平衡和自训练方法以提高模型性能，在 MIMIC-CXR 测试集中取得了 0.372 mAP 的最先进结果，并在竞赛中获得第一名，突显了在医学图像分类中考虑多视图设置、类别不平衡和标签共同出现的重要性。
medical image classificationlong-tailed distributionmulti-view imageslabel co-occurrencedata balancing
发现论文，激发创造
  • 胸部 X 光片的长尾多标签分类的技巧包

    通过整合多种先进设计，例如数据增强、特征提取器、分类器设计、损失函数加权、外生数据补充等，以及简单的测试时数据增强和集成，我们的框架在 ICCV CVAMD 2023 CXR-LT 比赛的测试集上最终实现了 0.349 的 mAP，排名前五。

    Aug, 2023

  • StudyFormer：基于注意力和动态多视角分类器的 X 光图像研究

    该文提出了一种利用卷积神经网络和视觉变压器结合的方法，用于从多视角合并信息以提高 X 射线图像分类性能，实验表明该方法超越了单视角模型以及传统的多视角分类架构。

    Feb, 2023

  • 基于胸部 X 射线的长尾、多标签疾病分类研究概述：CXR-LT 挑战的综述

    在医学图像识别中，我们提出了一个长尾多标签疾病分类的问题，并通过一个公开的挑战 (CXR-LT) 提供了一个大规模数据集来解决这个问题。我们总结了表现最好的解决方案的共同主题，并提出了对于长尾多标签医学图像分类的实用建议，最后，我们利用这些观察结果提出了基于视觉语言模型的少标签和零标签疾病分类的前进方向。

    Oct, 2023

  • HydraViT：自适应多支路 Transformer 用于胸部 X 光图像的多标签疾病分类

    通过将 transformer 骨干结构与多分支输出模块相结合，HydraViT 方法提高了胸部 X-ray 图像的多标签分类性能。

    Oct, 2023

  • SynthEnsemble：基于 CNN、视觉 Transformer 和混合模型的多标签胸部 X 光分类的融合

    通过深度学习技术，我们使用多种预训练的卷积神经网络 (CNN)、Transformer、混合 (CNN+Transformer) 模型和经典模型，在 “ChestX-ray14” 数据集上进行实验。最佳的单一模型是 CoAtNet，其在接收器工作特性曲线下的面积（AUROC）为 84.2%。通过将所有经过训练的模型的预测组合，使用加权平均集成方法，其中每个模型的权重是通过差分进化确定的，我们进一步提高了 AUROC 至 85.4%，在该领域超越了其他最先进的方法。我们的研究结果表明，深度学习技术尤其是集成深度学习，有潜力提高从胸部 X 射线图像中自动诊断胸部疾病的准确性。

    Nov, 2023

  • 胸部 X 光片中的胸部疾病具有噪声标签的长尾多标签分类

    通过创建融合了常见和罕见胸部疾病的新数据集 “LTML-MIMIC-CXR”，我们提出了一种基准方法来解决胸部 X 光片中罕见疾病检测的问题，其中包括了自动标注修正的大型损失重新考虑策略和针对尾部类别负 logit 过抑制的自适应负正则化方法。我们在 LTML-MIMIC-CXR 上的评估显示出罕见疾病检测的显著进展，为稳健的计算机辅助诊断方法提供了基础，以达到在胸部 X 光片中识别一系列胸部疾病的平衡。

    Nov, 2023

  • MVC: 一种用于从胸部 X 光图像进行 COVID-19 诊断的多任务视觉变压器网络

    使用计算机算法进行医学图像分析在过去的十年中引起了研究界的广泛关注并取得了巨大进展。本文提出了一种新方法，即多任务视觉 Transformer（MVC），用于同时对胸部 X 射线图像进行分类和识别受影响的区域，实验证实了该方法在图像分类和受影响区域识别任务上的优越性。

    Sep, 2023

  • MultiFusionNet：多层次多模态深度神经网络的胸部 X 光图像分类

    通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

    Jan, 2024

  • 如何驾驭胸部 X 光数据的长尾？

    通过为模型选择更接近目标数据集领域的初始化方法，结合已有文献中的技术，以及利用合成数据增强尾部标签，可以显著提高深度学习模型在胸部 X 光图像中推断罕见异常的性能。

    Sep, 2023

  • LT-ViT：用于多标签胸部 X 射线分类的视觉 Transformer

    利用 LT-ViT 来从多个尺度聚合信息，实现对胸部 X 光图像进行纯可视化模型训练，其优于基于纯 ViTs 的现有方法，在两个公开 CXR 数据集上表现出最先进的性能，并且对于其他预训练方法具有泛化性且不依赖于模型初始化，并且能够实现模型的可解释性而无需使用 grad-cam 及其变种。

    Nov, 2023