Aug, 2023

促进学习是否有利于放射学报告生成？

PDF
TL;DR本文介绍了 PromptRRG，一种利用提示学习激活预训练模型并结合先前知识的辅助放射学报告生成方法，并通过对 Prompt 设计的研究将其分为常见提示、领域特定提示和疾病丰富提示等级。在最大的放射学报告生成基准 MIMIC-CXR 上进行的实验结果显示，我们的方法达到了最先进的性能。
radiology report generationprompt learningpretrained modelmedical knowledgemimic-cxr
发现论文，激发创造
  • 基于深度学习的放射学报告生成研究的系统综述

    深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。

    Nov, 2023

  • 基于诊断的医学报告生成的提示 MRG

    通过诊断驱动提示的医学报告生成方法可以提高诊断准确性，并解决自动医学报告生成中的疾病分布不均的问题。

    Aug, 2023

  • 先验知识增强放射学报告生成

    本文提出了一种基于知识图谱的深度学习方法，将医学发现之间的相互关系挖掘和表示，并将这些先验知识用于辅助放射学报告生成，实验结果表明，相较于过去的方法，该模型性能有显著提升。

    Jan, 2022

  • 使用预训练的 LLM 生成结构化胸部 X 射线报告的提示引导方法

    用预训练的大型语言模型进行指导的方法可以生成基于解剖学和临床提示的结构化胸部 X 射线报告，以实现医疗报告的自动化生成和临床的交互性。

    Apr, 2024

  • 通过与非专业人员总结提示大型语言模型改进专家放射学报告摘要

    利用一种新的提示策略，结合少样本上下文学习，该论文引入了一种改进放射学报告摘要的方法，通过首先生成普通人摘要来规范关键观察，并使用医患交流启发的非专家通信技术简化复杂信息。我们在 MIMIC-CXR、CheXpert 和 MIMIC-III 数据集上评估了这种方法，并将其与 7B/8B 参数状态下的开源大型语言模型（LLMs），如 Meta-Llama-3-8B-Instruct，进行了比较。我们的结果表明，在摘要精确性和可访问性方面都取得了改进，特别是在领域外测试中，某些指标的改进高达 5%。

    Jun, 2024

  • 利用大模型推动的临床质量强化学习的放射学报告生成

    本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

    Mar, 2024

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • 利用放射学和解剖提示改善放射学摘要

    本文提出了一种新的解决方案来增强放射学家的结论写作，重点在于，将放射学图像和检查结果组合在一起生成结论，主要包括解剖学增强多模态模型和对比学习模块，经过两个基准数据集的实验证明，该方法显著优于其他自动结论生成模型。

    Oct, 2022

  • 像放射科医师一样阅读放射学影像

    提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

    Jul, 2023