利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

无结构数据的放射科医生可能对临床护理有价值，但风格的变化限制了使用。本研究比较了使用领域适应的语言模型（RadLing）和通用大型语言模型（GPT-4）从胸部放射学报告中提取常见数据元素（CDE）的系统性能。

Nov, 2023

本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在 RRS 范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。

May, 2023

Radiology-Llama2 是一个基于 Llama2 体系结构的大型语言模型，通过指令调整的过程在放射学领域达到了最先进的性能，它可以根据放射学检查结果生成连贯且临床有用的印象。

Aug, 2023

本文验证了多任务学习是强大的分类器，可优于或等于多个基于 BERT 的模型和各种任务特定的适配器增强的 BERT 模型的性能，同时也开拓了我们的方法在各种身体部位的放射科医生报告中的应用范围。

Apr, 2022

本文利用 BERT 模型在无标注大语料库中预训练生成上下文表示，进而构建医学无标注文本的自监督学习模型提高判别医学报告的信息提示等级，并取得了显著性能优于 Word2vec 模型的效果。

Dec, 2019

RaDialog 是一个用于放射学报告生成和交互对话的大型视觉语言模型，通过有效集成视觉图像特征和结构化病理结果，并使用参数高效的微调方法，实现了最先进的临床正确性，以及在纠正报告和回答问题等互动任务方面展现出惊人的能力，为临床对话系统打下了基础。

Nov, 2023

我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

Sep, 2023

本文提出了一种名为 MedViLL 的多模态自然语言处理模型，基于 BERT，使用一种新颖的多模态注意力掩码机制，通过在医学领域内的广泛一系列的多模态表现学习任务，包括影像报告分类、影像报告检索、影像问题回答和放射学报告生成，进行了统计和严格的评估，证明了 MedViLL 在各种基线上的优越性能表现，尤其是在三个影像报告数据集（MIMIC-CXR、Open-I 和 VQA-RAD）上的实现。

May, 2021

使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

Apr, 2024