Jul, 2020

利用大规模肺炎和气胸研究进行弱监督单阶段视觉和语言疾病检测

PDF
TL;DR本文介绍了一种基于自然语言信息的检测架构，来应对医学图像领域中标注数据不足的问题，通过一种新的自然语言信息标注方法，提出了一个新的数据集 MIMIC-CXR，利用一种基于弱监督的联合视觉语言检测方法（LITERATI）实现了对象检测。
medical imagesdetection architecturenatural language informationmimic-cxr datasetvision language weakly supervised transformer layer-selected one-stage dual head detection architecture
发现论文，激发创造
  • 通过从 X 射线专家模型中提炼知识来引导胸部 CT 图像理解

    利用自然语言作为有限可用的数据集辅助胸部 CT 图像理解并通过对比学习技术提高模型的性能。

    Apr, 2024

  • 通过卷积神经网络和视觉变换器的模型级集成来提高肺炎检测的新方法

    通过模型融合的方式，将卷积神经网络和视觉 Transformer 网络结合起来，以提高基于胸部 X 射线图像的肺炎诊断的准确性。融合模型在 Kaggle 小儿肺炎数据集上取得了 94.87% 的准确率，比基准模型表现更好。

    Jan, 2024

  • RoentGen: 胸部 X 光图像生成的视觉语言基础模型

    本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

    Nov, 2022

  • CXR-CLIP：大规模胸部 X 光照片语言 - 图像预训练

    本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

    Oct, 2023

  • CXR-LLaVA：用于解读胸部 X 光图像的多模式大型语言模型

    利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。

    Oct, 2023

  • XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • ChestX-ray8: 医院规模的胸部 X 光数据库和关于常见胸部疾病弱监督分类和定位的基准测试

    本文介绍了一个新的胸部 X 光数据库，名为 “ChestX-ray8”，其中包括 108948 个患者的 32,717 个独特患者的前瞻性 X 光图像 和使用自然语言处理从相关放射学报告中提取的八个疾病图像标签。作者展示了这些常见的胸部疾病可以通过弱监督的多标签图像分类和疾病定位框架进行检测甚至空间定位，并证明了这一点。尽管初始数量结果报告良好，但基于深度卷积神经网络的 “阅读胸部 X 射线”（仅通过图像级标签训练）仍然是完全自动化的高精度 CAD 系统的艰巨任务。

    May, 2017

  • 基于视觉变换器和可解释人工智能的 CoVid-19 检测

    通过视觉转换器技术的端到端框架，提出了一种用于肺部疾病诊断的方法，其中涵盖了数据增强、模型训练和评估等步骤。在 Covid 19 放射学数据库等数据集上测试和评估了一种专门的紧凑型卷积转换器模型，该模型在训练和验证阶段均取得了更好的准确性。

    Jul, 2023

  • 多阶段合作学习的胸部 X 光透视与临床视觉注意预测：增强解释性

    使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

    Mar, 2024

  • 胸部 X 光报告生成的弱监督对比学习

    本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。

    Sep, 2021