我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

Nov, 2023

本文介绍了一种用于 CT 图片和报告的视觉基准框架，结合解剖分割和报告结构化技术，能更好地定位出异常，性能比基准模型提高了很大的幅度（66.0% vs 77.8%），相比之前的技术也具有更高的性能。

Dec, 2023

通过引入一个新的框架 MedRG，该研究利用多模态大型语言模型预测关键短语，并结合视觉编码器 - 解码器生成相应的边界框，该方法在医学短语定位任务上的表现优于现有最先进技术。

Apr, 2024

通过使用相关图像，我们提出了一种新的人工智能报告事实检查方法，用于验证自动生成报告中的真假句子，以改进临床工作流程。

Jul, 2023

通过引入新的激励机制，结合现有语义等效性指标和强化学习方法，我们的放射学报告生成系统成功地在临床信息提取性能 F1 得分上取得了 22.1 的改进，并且相较于基线，能更加准确地生成完整一致的报告。

Oct, 2020

通过从图像中提取内容，并将提取的内容转化为与特定放射科医生风格匹配的报告，我们提出了一种用于射线学报告生成的两步方法，该方法利用 RadGraph 和大型语言模型（LLMs）。量化评估结果证明，我们的方法带来了良好的性能。与临床评估员进行的人类评估表明，尽管只使用了几个示例作为背景信息，但 AI 生成的报告与个体放射科医生的风格无法区分。

Oct, 2023

本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

Oct, 2020

提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

Jul, 2023

通过使用 RadGraph 奖励提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显着改善了放射学报告生成效果。

Oct, 2022

本文提出了一种基于模板的方法，通过使用多标签图像分类器，变换器模型和 BERT 多标签文本分类器，还有规则系统从放射学图像中生成放射学报告，并在实验中通过 IU Chest X-ray 和 MIMIC-CXR 数据集表现出比现有技术模型更好的性能。

Jun, 2023