May, 2024

自动化放射学报告生成：近期进展综述

PDF
TL;DR医疗影像科室面临日益增长的需求对放射科医生准时准确提交报告的压力。最近人工智能技术的进步已展示出自动生成放射学报告（ARRG）的巨大潜力，引发了大量研究。该调查论文通过方法学评审对当代 ARRG 方法进行了回顾，包括：评估基于特征（如可用性、大小和采用率）的数据集，研究深度学习训练方法（如对比学习和强化学习），探索先进的模型架构（包括 CNN 和 Transformer 模型的变种），通过多模态输入和知识图谱集成临床知识的技术，以及审查常用的 NLP 评估指标和定性临床审查的当前模型评估技术。此外，还分析了审查模型的定量结果，检查了表现最佳的模型以寻求进一步的见解。最后，强调了潜在的新方向，预测将采用其他放射学模态的附加数据集和改进的评估方法作为未来发展的重要领域。
发现论文，激发创造
  • 基于深度学习的放射学报告生成研究的系统综述

    深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。

    Nov, 2023

  • 基于多模态数据的深度学习辅助放射学报告生成调研

    通过深度学习方法，欧州央行会公布最新的 Automatic radiology report generation 的方法，并且总结了该领域内多模态数据获取、数据融合等关键技术的发展，并为进一步研究提供了详尽的信息。

    May, 2024

  • 利用大模型推动的临床质量强化学习的放射学报告生成

    本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

    Mar, 2024

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 使用 OpenAI GPT 模型进行检索增强的胸部 X 射线报告生成

    该研究提出了检索增强生成 (RAG) 作为自动放射学报告撰写的一种方法，它利用对齐的多模态嵌入来检索相关的候选放射学文本，并使用 OpenAI 的文本生成模型进行报告生成，该方法可以更好地满足不同临床设置的需求。

    May, 2023

  • 临床准确的胸部 X 光报告生成

    本文提出了一个可以考虑到临床精度的全自动胸部 X 光辐射学报告生成系统，利用计算机视觉和自然语言生成的高级方法来生成可读的报告，重点关注临床领域的细微差别，并通过强化学习来微调该系统。

    Apr, 2019

  • 像放射科医师一样阅读放射学影像

    提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

    Jul, 2023

  • 关于医学影像报告的自动生成

    研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

    Nov, 2017

  • 临床医生与放射学报告生成模型之间的共识、不一致性和协同效应

    放射学报告是现代医学的重要组成部分，自动化报告生成和 AI 生成的报告对放射学家和临床决策具有潜在的帮助，但面临着质量评估和医生参与的挑战。本研究展示了放射科医生与 AI 系统进行合作的潜力以及 AI 生成报告与专家撰写报告的比较结果。

    Nov, 2023