Dec, 2023

UniChest: 多源胸部 X 射线分级的征服和分割预训练

PDF
TL;DR利用多模态信息的视觉语言预训练（VLP）在自然领域的视觉识别和胸部 X 射线（CXR）的医学影像诊断方面取得了重大成功，在单个 CXR 数据集的探索方面取得了良好的前景，但目前的工作主要关注单个 CXRs 数据集的探索，这限制了该强大范式在更大规模的多源 CXRs 数据集上的潜力。为了解决这个困境，我们设计了一个征服与分割的预训练框架，称为 UniChest，旨在充分利用多个源 CXRs 的协作优势，同时减少源异质性的负面影响。
发现论文，激发创造
  • CXR-CLIP：大规模胸部 X 光照片语言 - 图像预训练

    本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

    Oct, 2023

  • 基于知识增强的医学 CXR 可视化语言预训练模型

    我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

    Apr, 2024

  • CXR-LLaVA：用于解读胸部 X 光图像的多模式大型语言模型

    利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。

    Oct, 2023

  • 预训练视觉语言模型用于纵向胸部 X 射线的差异视觉问题回答

    PLURAL 模型是一种针对差异化视觉问答任务的预训练视觉 - 语言模型，经过实验证明在研究中能够提高模型的性能。

    Feb, 2024

  • 用于胸部 X 光图像多类别分割的全卷积架构

    本研究探讨和提出了用于胸部 X 光的自动多类解剖器官分割的神经网络架构，解决了在卷积网络中处理严重不平衡数据问题和减少参数数量等挑战，证明了该架构在所有考虑的器官方面表现优于现有技术，并且优于人类观察者结果，最佳模型的均值 Jaccard 重叠得分为 95.0％（肺）、86.8％（锁骨）和 88.2％（心脏）。

    Jan, 2017

  • 通过统一和定制指令调整，学习一种多任务变压器用于胸片解读

    基于多模态深度学习模型的临床应用中的多任务程序，我们提出了一个统一的变压器模型，通过整合定制化指令调整，将不同的视觉密集型任务统一在一个训练框架中，以增加临床解释性和在不同胸部 X 光基准测试中表现出的优越性能。

    Nov, 2023

  • 多阶段合作学习的胸部 X 光透视与临床视觉注意预测：增强解释性

    使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

    Mar, 2024

  • 胸部 X 光片的长尾多标签分类的技巧包

    通过整合多种先进设计，例如数据增强、特征提取器、分类器设计、损失函数加权、外生数据补充等，以及简单的测试时数据增强和集成，我们的框架在 ICCV CVAMD 2023 CXR-LT 比赛的测试集上最终实现了 0.349 的 mAP，排名前五。

    Aug, 2023

  • StudyFormer：基于注意力和动态多视角分类器的 X 光图像研究

    该文提出了一种利用卷积神经网络和视觉变压器结合的方法，用于从多视角合并信息以提高 X 射线图像分类性能，实验表明该方法超越了单视角模型以及传统的多视角分类架构。

    Feb, 2023

  • DiCoM -- 提高胸部 X 射线研究普适性的多样概念建模

    Chest X-Ray used in diagnosis and prognosis of lung and heart conditions. Introducing Diverse Concept Modeling (DiCoM) for self-supervised pre-training of CXR data, achieving robust performance in downstream tasks and outperforming other pre-training strategies.

    Feb, 2024