Nov, 2022

RoentGen: 胸部 X 光图像生成的视觉语言基础模型

PDF
TL;DR本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。
generative imaging modelsmedical imaging datalatent diffusion modelsynthetic cxr imagesdata augmentation
发现论文，激发创造
  • 超越图像：胸部 X 光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • 基于生成预训练变压器的医学图像描述

    本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

    Sep, 2022

  • CXR-LLaVA：用于解读胸部 X 光图像的多模式大型语言模型

    利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。

    Oct, 2023

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • 使用非影像数据为条件的 Transformers 生成放射学报告

    该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

    Nov, 2023

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 胸部 X 光报告生成的弱监督对比学习

    本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。

    Sep, 2021

  • 通过从 X 射线专家模型中提炼知识来引导胸部 CT 图像理解

    利用自然语言作为有限可用的数据集辅助胸部 CT 图像理解并通过对比学习技术提高模型的性能。

    Apr, 2024

  • 基于策略的强化学习推进文本驱动的胸部 X 射线图生成

    在使用强化学习的框架中，通过多个 CX - 领域特定奖励模型引导扩散去噪轨迹，提高 CXR 质量。

    Mar, 2024