基于多模态数据的深度学习辅助放射学报告生成调研
提出了一种基于深度学习技术的生成式编码解码模型,通过对大量胸部X光图像进行预先训练并提取医疗概念,结合词级别的注意力机制,成功生成精准较为自然的放射学报告。
Jul, 2019
本文介绍了使用预构建图嵌入模块(图卷积神经网络建模)来辅助放射图像报告生成的方法,该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系,同时提出了用于医学图像报告的新的评估指标,并在公开数据集(IU-RR)上展示了该方法的优异性能。
Feb, 2020
本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法,结合放射学影像的视觉特征,可以提高放射学报告的质量,并在公开数据集上进行的实验结果表明,提出的知识增强方法优于最先进的基于图像字幕的方法。
Dec, 2021
本文提出了一种基于知识图谱的深度学习方法,将医学发现之间的相互关系挖掘和表示,并将这些先验知识用于辅助放射学报告生成,实验结果表明,相较于过去的方法,该模型性能有显著提升。
Jan, 2022
该研究提出了一种自我指导的框架,它采用无监督和监督深度学习方法,模仿人类学习和写作的过程,成功地提高了医学报告的生成准确性和长度,并获得了比当前最先进方法更好的性能。
Jun, 2022
通过结合结构化患者数据和非结构化临床记录,我们提出了一种新颖的多模态深度神经网络框架,用于生成描述医学图像结果的胸部X射线检查报告,并通过引入条件交叉多头注意力模块来融合这些异构数据模态,弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比,实验证明通过使用附加模态可以显著改善结果,在ROUGE-L指标上达到了文献相关最高的性能。此外,我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性,但也强调需要更多的改进以捕捉细微的细节和临床背景。
Nov, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部X光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像-derived视觉特征的变压器编码器-解码器网络,以提高报告生成的质量。
Nov, 2023
深度学习在医学影像的报告生成方面的关键研究进展进行了综述,强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性,并介绍了常用的基准数据集和评估指标,分析了不同方法的性能并展望了未来发展方向。
Nov, 2023
医疗影像科室面临日益增长的需求对放射科医生准时准确提交报告的压力。最近人工智能技术的进步已展示出自动生成放射学报告(ARRG)的巨大潜力,引发了大量研究。该调查论文通过方法学评审对当代ARRG方法进行了回顾,包括:评估基于特征(如可用性、大小和采用率)的数据集,研究深度学习训练方法(如对比学习和强化学习),探索先进的模型架构(包括CNN和Transformer模型的变种),通过多模态输入和知识图谱集成临床知识的技术,以及审查常用的NLP评估指标和定性临床审查的当前模型评估技术。此外,还分析了审查模型的定量结果,检查了表现最佳的模型以寻求进一步的见解。最后,强调了潜在的新方向,预测将采用其他放射学模态的附加数据集和改进的评估方法作为未来发展的重要领域。
May, 2024
本研究针对自动生成放射学报告所面临的复杂性和多样性问题,提出了一种稳健的报告生成系统设计方法。通过整合不同模块并借鉴以往研究的经验和文献中的最佳实践,研究结果表明,该系统可以提高自动报告生成的效果,帮助放射科医生做出决策,加速诊断流程,从而改善医疗服务,挽救生命。
Nov, 2024