基于多视图影像融合和医学概念增强的自动放射学报告生成
该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法,该方法可以从报告中识别异常发现,并将它们与无监督聚类和最小规则分组,通过使用提出的有条件构建的视觉-语义嵌入进行图像和小粒度异常发现对齐,其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。
Oct, 2020
本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法,结合放射学影像的视觉特征,可以提高放射学报告的质量,并在公开数据集上进行的实验结果表明,提出的知识增强方法优于最先进的基于图像字幕的方法。
Dec, 2021
本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块,并引入新颖的医学概念生成网络来预测细粒度语义概念,并将其作为指导结合到自动生成医学报告的过程中,最终在MIMIC-CXR及图像字幕生成和医学报告生成多个领域的基准测试中,表现出了优异的性能。
Aug, 2022
该论文主要研究了自动放射学报告生成的技术,重点关注了图像编码组件的相对重要性,并在 MIMIC-CXR 数据集上比较了四种不同的图像编码方法,结果表明fine-grained编码优于其他编码方法。
Nov, 2022
本研究提出了一种基于自动医学图像解释的生成式语言模型的方法,用于从胸部X线图像中检测异常区域并生成相应文本,以降低放射科医生在撰写或叙述发现结果方面的工作量。
Jun, 2023
通过结合结构化患者数据和非结构化临床记录,我们提出了一种新颖的多模态深度神经网络框架,用于生成描述医学图像结果的胸部X射线检查报告,并通过引入条件交叉多头注意力模块来融合这些异构数据模态,弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比,实验证明通过使用附加模态可以显著改善结果,在ROUGE-L指标上达到了文献相关最高的性能。此外,我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性,但也强调需要更多的改进以捕捉细微的细节和临床背景。
Nov, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部X光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像-derived视觉特征的变压器编码器-解码器网络,以提高报告生成的质量。
Nov, 2023
通过提出具有全局密集注意力(GIA)模块的医学图像编码器和可视化知识引导解码器(VKGD),我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题,实现更准确的报告生成。在实验中,我们的方法在IU X-Ray和MIMIC-CXR两个常用数据集上展现出比其他最先进方法更优越的能力。
Feb, 2024
通过深度学习方法,欧州央行会公布最新的Automatic radiology report generation的方法,并且总结了该领域内多模态数据获取、数据融合等关键技术的发展,并为进一步研究提供了详尽的信息。
May, 2024
本研究针对自动生成放射学报告所面临的复杂性和多样性问题,提出了一种稳健的报告生成系统设计方法。通过整合不同模块并借鉴以往研究的经验和文献中的最佳实践,研究结果表明,该系统可以提高自动报告生成的效果,帮助放射科医生做出决策,加速诊断流程,从而改善医疗服务,挽救生命。
Nov, 2024