本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

Nov, 2022

通过结合文本提示和边界框，我们提出了一种新颖的多任务架构和训练方法，用于解决医学图像的报告生成和解释性问题。我们称之为胸部 X 射线解释器（ChEX）。通过在 9 个不同的胸部 X 射线任务中进行评估，包括定位图像解释和报告生成，我们展示了 ChEX 与 SOTA 模型的竞争力，并进一步分析证明了 ChEX 的交互能力。

Apr, 2024

本文介绍 CheXOFA，这是一个新的预训练视觉语言模型，用于胸部 X 光域。该模型最初在普通领域的各种多模态数据集上进行预训练，然后迁移到胸部 X 光域。通过将各种特定于域的任务统一到简单的序列到序列模式中，使模型能够有效地从领域中有限的资源中学习所需的知识和技能。通过包括集成和事实校准在内的微妙技术，我们的系统在 RadSum23 排行榜的隐藏测试集上取得了第一名。

Jul, 2023

利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像，并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调，该模型在胸部 X 射线图像解释中显示了很好的潜力。

Oct, 2023

本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

Jun, 2023

利用深度卷积神经网络（CNNs）构建了一个多标签分类框架，能够准确检测 14 种常见胸部疾病和病灶的存在，通过对 UGCXR 数据集的训练，该模型取得了目前最高的 AUC 分数 0.940， 平均优于独立评审组中的 2.6 位放射科医生，表现优于目前 CheXpert 测试集上的其他分类器。

May, 2020

该研究提出了一种基于深度卷积神经网络的监督式多标签分类框架，用于预测 14 种常见胸部疾病的风险，同时针对常见胸透数据集中不确定样本占据的显著比例，提出了标签平滑技术。在超过 200k 的数据集上训练，该模型在 5 项病理学的验证集中实现了 0.940 的平均 AUC 分数，表现高于独立测试集中的其他三位医学专家，该方法在 CheXpert 排行榜上排名第一。

Nov, 2019

我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

Nov, 2023

ELIXR 是一种用于 CXR AI 的强大而多功能的方法，它在零样本和数据高效领域取得了显著结果，并在 CXR 图像分类、语义搜索和 CXR 视觉语言任务中表现出良好的性能。

Aug, 2023

本文提出了一种新颖且统一的可控解释性流程，用于解码胸部 X 射线（CXR）诊断中放射科医师的密集关注点，通过捕捉放射科医师凝视的强度，提供了对放射学解释过程的认知过程的洞察。

Sep, 2023