Nov, 2022

RoentGen: 胸部 X 光图像生成的视觉语言基础模型

HTML
PDF
TL;DR本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部X射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真CXR的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。
发现论文，激发创造
  • 临床准确的胸部X光报告生成

    本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统，利用计算机视觉和自然语言生成的高级方法来生成可读的报告，重点关注临床领域的细微差别，并通过强化学习来微调该系统。

    Apr, 2019

  • 临床推理胸部影像数据集

    本研究提供了基于场景图的Chest ImaGenome数据集，利用自然语言处理和基于图集的边界框检测构建了局部标注，并通过放射学家构建的X线诊断本体论将每个CXR的注释连接为以解剖学为中心的场景图。

    Jul, 2021

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究Stable Diffusion模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • XrayGPT: 医学视觉语言模型用于胸部X光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉-语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • ELIXR: 通过对大型语言模型和医学成像视觉编码器的对齐，实现通用的X射线人工智能系统

    ELIXR是一种用于CXR AI的强大而多功能的方法，它在零样本和数据高效领域取得了显著结果，并在CXR图像分类、语义搜索和CXR视觉语言任务中表现出良好的性能。

    Aug, 2023

  • 利用合成数据进行医学视觉-语言预训练：绕开真实图像的需求

    利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练(VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

    Oct, 2023

  • MAIRA-1: 用于放射学报告生成的专业大型多模态模型

    我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

    Nov, 2023

  • TiBiX：利用时序信息进行双向X射线和报告生成

    提出了一种名为TiBiX的方法，利用时间信息实现双向X光和报告生成，通过考虑先前的扫描，解决了两个挑战性问题，同时在报告生成和图像生成方面实现了良好的性能。

    Mar, 2024

  • CXR-Agent: 胸部X光解读的视觉语言模型及具备不确定性认知的放射学报告

    通过对Chest X-ray照片的解释和生成自然语言描述，结合高级推理，评估可用于医学报告生成的视觉-语言模型的性能，发现这些模型往往会产生具有自信的语言，从而导致临床解释的减慢。因此，我们开发了一种基于Agent的视觉-语言方法，使用线性探测和短语锚定工具生成基于不确定性的放射学报告，准确定位和描述病理学。通过开发评估平台进行用户研究，结合自然语言处理指标、Chest X-ray基准和呼吸专家的临床评估，我们的结果显示出在AI生成报告的准确性、解释性和安全性方面的相当大的改进。同时，强调需要更大规模的配对(照片和报告)数据集以及数据扩增来解决这些大型视觉-语言模型中的过拟合问题。

    Jul, 2024

  • 医疗视觉语言预训练能否成功依赖纯合成数据？

    本研究解决了医疗视觉语言预训练（MedVLP）在缺少高质量图文配对数据情况下的训练问题。通过使用生成模型生成合成放射学报告和胸部X光图像，并提出了一种自动化管道，构建了多样且高质量的合成数据集。研究结果表明，专门使用合成数据训练的MedVLP模型在零样本分类任务中的表现优于基于真实数据的模型，并展示了合成数据在医学图像理解中的潜在积极影响。

    Oct, 2024