TiBiX:利用时序信息进行双向 X 射线和报告生成
使用患者访问纪录的多模态数据,即先前的患者访问 X 线图像、报告,以填充电子医疗报告中的 “发现” 部分,该方法使用转换器模型和多模式融合模块,以优于先前方法的 F1 分数和 BLEU-4、METEOR 和 ROUGE-L 的结果进行训练。
Jun, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部 X 光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络,以提高报告生成的质量。
Nov, 2023
本文提出了使用记忆驱动 Transformer 来生成放射学报告,实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告,此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。
Oct, 2020
通过考虑纵向数据,结合患者以前的影像学研究报告,使用 CXR-BERT 进行奖励的强化学习,改善胸部 X 射线报告生成的效率以提高诊断准确性。
Jul, 2023
通过结合结构化患者数据和非结构化临床记录,我们提出了一种新颖的多模态深度神经网络框架,用于生成描述医学图像结果的胸部 X 射线检查报告,并通过引入条件交叉多头注意力模块来融合这些异构数据模态,弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比,实验证明通过使用附加模态可以显著改善结果,在 ROUGE-L 指标上达到了文献相关最高的性能。此外,我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性,但也强调需要更多的改进以捕捉细微的细节和临床背景。
Nov, 2023
本文提出了一种新的方法,通过使用标签机从医学报告中提取比较先前的信息,并将该先前信息整合到基于 Transformer 的模型中,从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型,提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。
May, 2023
本研究提出了一种策略来克服大规模自然 - 医学分布偏移,并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线(CXR)及其对应的放射学(文本)报告语料库上进行调整,评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力,并观察到使用数据增强的方式训练动态成像分类器的证据。
Nov, 2022
本研究旨在探究利用计算机视觉和自然语言处理算法对患者胸透报告自动生成技术进行改进。研究表明,CvT2DistilGPT2 模型在 warm-starting encoder 和 decoder 方面效果最佳,其生成的报告在诊断准确度方面优于以往研究并更接近于放射科医生的报告。
Jan, 2022
放射学报告是医学扫描内容的详细文本描述。通过引入经过纵向表示学习和句子 - 解剖学丢弃的方法,我们提出了一种整合自动化报告系统的策略,以加快报告速度并实现解剖区域可控的报告生成。
Oct, 2023
提出了一种基于深度学习技术的生成式编码解码模型,通过对大量胸部 X 光图像进行预先训练并提取医疗概念,结合词级别的注意力机制,成功生成精准较为自然的放射学报告。
Jul, 2019