Jun, 2024

RaTEScore: 放射学报告生成的度量标准

PDF
TL;DR该研究介绍了一种名为 Radiological Report Evaluation (RaTEScore) 的新型、面向实体的度量标准，用于评估由人工智能模型生成的医学报告的质量。RaTEScore 强调诊断结果和解剖细节等重要医学实体，并且对于复杂的医学近义词和否定表达式具有鲁棒性。该度量标准通过比较从语言模型中获得的实体嵌入的相似性，根据其类型和与临床重要性的相关性来衡量。我们的评估结果显示，RaTEScore 与人类偏好更加一致，这一点在现有的公开基准和我们新提出的 RaTE-Eval 基准上得到了验证。
发现论文，激发创造
  • 放射学感知的基于模型的报告生成评价指标

    我们提出了一种适用于放射学领域的新的自动评估度量标准，使用成功的 COMET 架构。通过在放射学知识图谱 RadGraph 上训练和发布四个面向医学的模型检查点，我们的结果表明我们的度量标准与 BERTscore、BLEU 和 CheXbert 分数等已有度量标准呈现中高度相关性。此外，我们证明了我们的一个检查点与使用公开可用的六个董事认证的放射科医生的注释集评估人类判断具有很高的相关性，并使用一套包含 200 份报告的数据集进行了分析，同时还与两名放射科医生在一组包含 100 份报告的集合上进行了自己的分析。结果表明我们的方法有潜在效力作为放射学特定评估度量标准。我们的代码、数据和模型检查点将公开提供。

    Nov, 2023

  • 通过语义奖励提高放射科报告生成的事实正确性

    通过使用 RadGraph 奖励提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显着改善了放射学报告生成效果。

    Oct, 2022

  • 提高图像到文本放射学报告生成的事实完整性和一致性

    通过引入新的激励机制，结合现有语义等效性指标和强化学习方法，我们的放射学报告生成系统成功地在临床信息提取性能 F1 得分上取得了 22.1 的改进，并且相较于基线，能更加准确地生成完整一致的报告。

    Oct, 2020

  • MRScore: 基于 LLM 的放射学报告生成评估系统

    该研究介绍了 MRScore，一种针对放射学报告生成的自动评估指标，通过利用大型语言模型 (LLMs)。相较于传统的自然语言生成 (NLG) 指标如 BLEU，MRScore 更准确地评估生成的放射学报告。作者与放射科医生合作开发了一个框架，该框架指导 LLMs 进行放射学报告评估，以确保与人类分析保持一致。我们的实验证明 MRScore 与人类判断有更高的相关性，并在模型选择方面表现出优越性能。我们的代码和数据集将在 GitHub 上提供。

    Apr, 2024

  • LLM-RadJudge：X 光报告生成实现放射科医师级评估

    使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

    Apr, 2024

  • 绿色：生成性放射学报告评估和错误标注

    介绍了一种名为 GREEN（生成式放射学报告评估和错误标注）的放射学报告生成度量方法，利用语言模型的自然语言理解能力定量和定性地识别和解释候选报告中的临床显著错误，该方法不仅与专家错误计数具有更高的相关性，而且与专家偏好更加一致。

    May, 2024

  • 使用特定领域的余弦相似度度量方法对胸部 X 射线报告进行语义文本相似性评估

    医疗语言处理和深度学习技术作为改善医疗保健的关键工具，特别是在医学影像和医学文本数据的分析中。本研究介绍了一种新的方法，专门用于评估生成的医学报告与实际情况之间的语义相似度，该方法在领域特定的医学背景下表现出较高的效率。

    Feb, 2024

  • 利用专业放射科医师的专长提升放射学报告的 LLM 评估

    利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

    Jan, 2024

  • 自动构建放射学报告的集成方法

    本研究提出了一种基于文本属性的整合方法，包括三个模型：聚焦句模型、周围上下文模型和格式 / 布局模型，采用双向 LSTMs 和句子编码来获取上下文，结合多个特征和报告结构进行自动标注，取得了相对于其他方法来说更好的 97.1% 精度。

    Oct, 2020

  • X 射线简化：用通俗语言生成和评估放射学报告

    通过引入一个以外行人术语为基础的数据集、评估和训练框架来系统地改进放射学报告生成 (RRG)，以解决现有用于评估 RRG 的词汇基准度量方法（如 BLEU）的问题，该方法的高性能可能只是一个幻觉。我们提出了一个基于语义的评估方法，并证明其可以缓解 BLEU 得分的虚高问题，为 RRG 提供更公平的评估。我们还展示了在外行人术语数据集上训练可以促使模型关注报告的语义，而不是过度拟合报告模板。

    Jun, 2024