使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

Apr, 2024

利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

Jan, 2024

通过引入一个以外行人术语为基础的数据集、评估和训练框架来系统地改进放射学报告生成 (RRG)，以解决现有用于评估 RRG 的词汇基准度量方法（如 BLEU）的问题，该方法的高性能可能只是一个幻觉。我们提出了一个基于语义的评估方法，并证明其可以缓解 BLEU 得分的虚高问题，为 RRG 提供更公平的评估。我们还展示了在外行人术语数据集上训练可以促使模型关注报告的语义，而不是过度拟合报告模板。

Jun, 2024

研究了 8 种大型语言模型对放射学报告印象进行总结的能力，使用 CT、PET-CT 和超声波报告构建零、一、三次扫描提示，并定义了五项人工评价指标以评估印象的语义，结果显示大型语言模型在完整性和正确性方面表现较好，但简洁性和真实性评分不高，并指出少量扫描提示可以提高模型的简洁性和真实性，但临床医师仍认为大型语言模型不能取代放射学家的总结能力。

Jun, 2024

本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

Mar, 2024

我们提出了一种适用于放射学领域的新的自动评估度量标准，使用成功的 COMET 架构。通过在放射学知识图谱 RadGraph 上训练和发布四个面向医学的模型检查点，我们的结果表明我们的度量标准与 BERTscore、BLEU 和 CheXbert 分数等已有度量标准呈现中高度相关性。此外，我们证明了我们的一个检查点与使用公开可用的六个董事认证的放射科医生的注释集评估人类判断具有很高的相关性，并使用一套包含 200 份报告的数据集进行了分析，同时还与两名放射科医生在一组包含 100 份报告的集合上进行了自己的分析。结果表明我们的方法有潜在效力作为放射学特定评估度量标准。我们的代码、数据和模型检查点将公开提供。

Nov, 2023

通过收集 3D 脑部 CT 数据集，使用临床视觉指导调整 (CVIT) 训练 BrainGPT 模型生成符合放射学的脑部 CT 报告，并提出了一种新的面向特征的放射学任务评估 (FORTE) 方法来评估报告的临床相关性。

Jul, 2024

通过引入新的激励机制，结合现有语义等效性指标和强化学习方法，我们的放射学报告生成系统成功地在临床信息提取性能 F1 得分上取得了 22.1 的改进，并且相较于基线，能更加准确地生成完整一致的报告。

Oct, 2020

本研究旨在调查利用 GPT3.5-turbo（GPT3.5）进行放射学报告的 TNM 分级的准确性及多语种 LLMs 在日语和英语中的实用性。通过分析多语言 TNM 定义对准确性的影响，研究表明提供完整的 TNM 定义可明显提高放射学报告的分类准确性，且多语种 LLMs 在放射学领域具有潜在应用价值。

Jun, 2024

通过提出一种新颖的评估框架，判断视觉语言模型在生成基于 CT 的异常的准确摘要方面的能力，从而为辅助放射科医师减轻负担，并指导未来该领域的发展。

Mar, 2024