提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

Jul, 2019

通过深度学习方法，欧州央行会公布最新的 Automatic radiology report generation 的方法，并且总结了该领域内多模态数据获取、数据融合等关键技术的发展，并为进一步研究提供了详尽的信息。

May, 2024

利用模块化方法针对医学领域使用开源小型多模态模型来解决大规模基础模型在临床需求中存在的问题，并在放射学成像中展示了 LLaVA-Rad 模型的最新结果和其在报告生成和跨模态检索中的性能优势，成为真实世界临床应用的前景工具。

Mar, 2024

提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。

Mar, 2024

通过提出包含六种不同模态和解剖的基于 MIMIC-III 数据库的数据集，我们提出了一个新的简报总结系统，其胜过现有数据集上的以前可重现的研究。

Nov, 2022

通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

Nov, 2023

通过医学图像分割（SAM）模型实现对器官、异常、骨骼等的分割，利用一种监督对比损失函数缓解数据偏差并提高医学图像报告的质量。实验证明所提模型在 IU X-Ray 公共数据集上表现出的卓越性能。

Dec, 2023

该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告，并通过受监督和无监督学习的方式，实现在文档检索任务中的表现，发现只需有限的监督即可获得与完全监督方法类似的结果。

Nov, 2018

我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

Nov, 2023

通过利用多个二元分类模型，将放射学异常检测限制在心脏肥大、肺积液和实变方面，我们提出了一种基于多模型深度学习的自动胸部 X 射线报告生成系统，旨在辅助放射科医生的工作，通过图像预处理、使用深度学习模型检测异常、生成报告三个步骤来生成一份放射学报告，从而降低放射科医生的工作负担并提高胸部 X 射线诊断的准确性。

Sep, 2023