Apr, 2024

基于知识增强的医学 CXR 可视化语言预训练模型

PDF
TL;DR我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。
medical vision-language pre-traininggrounded knowledge-enhancedchest x-rayanatomical regionsalignment
发现论文，激发创造
  • MedKLIP: 医学知识增强的语言 - 图像预训练

    该研究论文提出了基于医学图像文本匹配的预训练方法，利用三元组信息和医学专有知识进行医疗分类和定位，取得了比其他方法更好的分类结果。

    Jan, 2023

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023

  • 对齐、推理和学习：利用知识增强医疗视觉语言预训练

    本文提出了一种系统和有效的方法来增强医学视觉和语言预训练 (Med-VLP)，通过结构化医学领域专家知识从三个方面做到了这一点，并构建了一个医学视觉和语言基准来评估此方法的有效性。

    Sep, 2022

  • XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • CT-GLIP: 使用 CT 扫描和放射学报告进行全身场景的三维语言图像预训练

    医学图像语言预训练（Med-VLP）通过视觉内容与相关的文本描述之间建立连接。本文将 Med-VLP 的范围扩展到包括 3D 图像，特别针对全身场景，并利用包含 CT 图像和报告的多模态数据集。我们介绍了 CT-GLIP（CT 扫描的基于图像 - 语言的预训练）的一种新方法，通过构建器官级的图像 - 文本对来增强多模态对比学习，将基于图像的视觉特征与精确的诊断文本对齐。我们的方法在一个包含 17,702 名患者的多模态 CT 数据集上进行训练，涵盖了 104 个器官的 44,011 个视觉 - 文本对，证明了它能够使用自然语言以零 - shot 方式识别器官和异常。CT-GLIP 的性能在一个独立测试集上进行验证，该测试集包括 1,130 名患者，重点关注 7 个器官中最常见的 16 种异常。实验结果表明，在使用 CNN 和 ViT 架构的零 - shot 和微调场景下，我们的模型在标准 CLIP 框架之上表现出卓越的性能。

    Apr, 2024

  • 基于生成式文本引导的三维视觉语言预训练，用于统一医学图像分割

    本研究提出了一种 3D 医学图像的方法 —— 生成式文本引导 3D 视觉语言预训练。研究在 Computed Tomography (CT)、Magnetic Resonance Imaging (MRI) 和电子显微镜 (EM) 图像数据上进行了验证，结果表明该方法在医学图像分割任务中的效果优异。

    Jun, 2023

  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • G2D：全球到密集射线学习的视觉 - 语言预训练

    该论文提出了一种名为 G2D 的新型 VLP 框架，通过伪分割任务与全局视觉语言对齐相结合，学习得到密集且语义化的图片表示，以在 6 个医学成像任务和 25 种疾病中取得明显改进的性能，尤其在细粒度的语义分割任务中，甚至在只使用 1% 的训练数据进行微调时，也能超过同类模型的性能。

    Dec, 2023

  • RoentGen: 胸部 X 光图像生成的视觉语言基础模型

    本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

    Nov, 2022

  • 医学影像和报告的局部表示联合学习

    LoVT 是一种面向医学图像的局部表征学习方法，结合基于实例的图像报告对比学习和图像区域及报告句子表征的局部对比学习，针对局部任务优化图像预先训练，相比其他常用预训练方法，在 18 个局部任务的评估框架中表现最佳，因此被认为是优选方法。

    Dec, 2021