Jun, 2024

针对 3D 高分辨率医学图像的放射学报告生成的基准和提升

PDF
TL;DR基于大型语言模型 (LLMs)，我们引入了一种新框架，可以高效有效地生成高分辨率 3D 体积的放射学报告，通过使用低分辨率可视化标记作为查询，从高分辨率标记中提取信息，保留了详细的高分辨率信息，在可接受的计算成本下一致超越现有方法，并在基于 3D 高分辨率医学图像生成报告的首个基准中取得了优异成绩。
automatic radiology report generation3d radiographslarge language modelscomputational costbenchmark
发现论文，激发创造
  • CT2Rep: 三维医学成像的自动化放射学报告生成

    通过引入一种基于先进 3D 视觉编码器和自回归因果变换器的新型方法，借助交叉注意力多模式融合模块和分层记忆，我们首次提出了一种用于生成三维医学影像尤其是胸部 CT 体素的放射学报告的方法，并证明了其有效性。

    Mar, 2024

  • 面向三维脑部 CT 报告生成的多模态大型语言模型的整体框架

    通过收集 3D 脑部 CT 数据集，使用临床视觉指导调整 (CVIT) 训练 BrainGPT 模型生成符合放射学的脑部 CT 报告，并提出了一种新的面向特征的放射学任务评估 (FORTE) 方法来评估报告的临床相关性。

    Jul, 2024

  • 自动化放射学报告生成：近期进展综述

    医疗影像科室面临日益增长的需求对放射科医生准时准确提交报告的压力。最近人工智能技术的进步已展示出自动生成放射学报告（ARRG）的巨大潜力，引发了大量研究。该调查论文通过方法学评审对当代 ARRG 方法进行了回顾，包括：评估基于特征（如可用性、大小和采用率）的数据集，研究深度学习训练方法（如对比学习和强化学习），探索先进的模型架构（包括 CNN 和 Transformer 模型的变种），通过多模态输入和知识图谱集成临床知识的技术，以及审查常用的 NLP 评估指标和定性临床审查的当前模型评估技术。此外，还分析了审查模型的定量结果，检查了表现最佳的模型以寻求进一步的见解。最后，强调了潜在的新方向，预测将采用其他放射学模态的附加数据集和改进的评估方法作为未来发展的重要领域。

    May, 2024

  • 基于多模态数据的深度学习辅助放射学报告生成调研

    通过深度学习方法，欧州央行会公布最新的 Automatic radiology report generation 的方法，并且总结了该领域内多模态数据获取、数据融合等关键技术的发展，并为进一步研究提供了详尽的信息。

    May, 2024

  • 利用大模型推动的临床质量强化学习的放射学报告生成

    本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

    Mar, 2024

  • 基于深度学习的放射学报告生成研究的系统综述

    深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。

    Nov, 2023

  • 基于记忆驱动的 Transformer 生成放射学报告

    本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

    Oct, 2020

  • LLM-RadJudge：X 光报告生成实现放射科医师级评估

    使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

    Apr, 2024

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 替换和报告：基于自然语言处理的放射学报告生成

    本文提出了一种基于模板的方法，通过使用多标签图像分类器，变换器模型和 BERT 多标签文本分类器，还有规则系统从放射学图像中生成放射学报告，并在实验中通过 IU Chest X-ray 和 MIMIC-CXR 数据集表现出比现有技术模型更好的性能。

    Jun, 2023