本文介绍了 PromptRRG，一种利用提示学习激活预训练模型并结合先前知识的辅助放射学报告生成方法，并通过对 Prompt 设计的研究将其分为常见提示、领域特定提示和疾病丰富提示等级。在最大的放射学报告生成基准 MIMIC-CXR 上进行的实验结果显示，我们的方法达到了最先进的性能。

Aug, 2023

该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

May, 2024

通过使用两种不同的提示策略（即 shot 提示和 pattern 提示），该研究通过结合范围和领域上下文，改善了自动医学报告的性能，并且获得了最高分数，超过了一般执业医生的参考文献。然而，由于报告中添加了冗余和相关陈述，自动报告的长度大约是人工参考的两倍。

Nov, 2023

利用知识图谱在医学报告生成中的作用，基于胸部 X 光成像建立了一种包含 137 种疾病和异常的全面知识图谱，提出了一种新的增强策略和两阶段生成框架，以减少疾病分布的长尾问题。

Jul, 2023

使用图提示学习模型进行神经系统疾病的诊断，通过学习 GPT-4 获取相关疾病概念，计算概念与图像区块的语义相似度，并减少不相关区块的权重，同时利用图卷积网络层提取图的结构信息，以提升预训练模型在神经系统疾病诊断上的性能。

Dec, 2023

GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

Aug, 2023

利用多模态大型语言模型、少样本训练提示、视觉定位将影像与电子病历数据结合，该研究提出了 MedPromptX 模型，用于胸部 X 射线诊断，有效提高了异常的识别能力。

Mar, 2024

通过引入一个新的框架 MedRG，该研究利用多模态大型语言模型预测关键短语，并结合视觉编码器 - 解码器生成相应的边界框，该方法在医学短语定位任务上的表现优于现有最先进技术。

Apr, 2024

本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

Mar, 2024

用预训练的大型语言模型进行指导的方法可以生成基于解剖学和临床提示的结构化胸部 X 射线报告，以实现医疗报告的自动化生成和临床的交互性。

Apr, 2024