本文介绍了一个标记大规模、高分辨率的胸部X光数据集，用于自动探索医学图像和相关报告，并在报告中标记了174个不同的放射学发现，19个不同的差异诊断和104个不同的解剖部位位置，这些标记数据可用于训练监督模型关于放射学图像的分析与识别。此数据集可在http URL下载。

Jan, 2019

本研究提供了基于场景图的Chest ImaGenome数据集，利用自然语言处理和基于图集的边界框检测构建了局部标注，并通过放射学家构建的X线诊断本体论将每个CXR的注释连接为以解剖学为中心的场景图。

Jul, 2021

本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部X射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真CXR的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

Nov, 2022

本研究提出了一种基于自动医学图像解释的生成式语言模型的方法，用于从胸部X线图像中检测异常区域并生成相应文本，以降低放射科医生在撰写或叙述发现结果方面的工作量。

Jun, 2023

放射学报告是医学扫描内容的详细文本描述。通过引入经过纵向表示学习和句子 - 解剖学丢弃的方法，我们提出了一种整合自动化报告系统的策略，以加快报告速度并实现解剖区域可控的报告生成。

Oct, 2023

我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

Nov, 2023

深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。

Nov, 2023

通过使用设计精心的提示，我们展示了GPT作为熟练标注器的潜力。利用只有GPT标记的数据，我们训练了基于BERT的标注器CheX-GPT，其操作速度更快、更高效。为了评估标注器的性能，我们引入了一个公开可用的专家标注测试集MIMIC-500，包含来自MIMIC验证集的500个案例。我们的研究结果证明了CheX-GPT不仅在标注准确性上优于现有模型，而且在效率、灵活性和可扩展性方面也表现出色，得益于我们引入的MIMIC-500数据集进行强大的基准测试。代码和模型可以在此链接找到。

Jan, 2024

使用MAPLEZ方法，使用基于规则的系统从CXR报告中提取和增强发现标签，包括存在性、位置、严重程度以及放射科医生对发现的不确定性，并在分类监督中取得了显著的模型质量提升

Mar, 2024

将报告生成扩展到包括图像上的个别发现的定位，提出使用大型语言模型的推理能力进行基于现实的报告生成评估框架，介绍了结合放射学特定图像编码器和大型语言模型的MAIRA-2，证明了这些增加内容显著提高报告质量并减少错误，以及展示了基于现实的报告生成作为一项新的丰富任务的可行性。

Jun, 2024