利用温启动改善胸部X射线报告生成
本研究提出了一种策略来克服大规模自然 - 医学分布偏移,并使用预先训练的潜在扩散模型在公开可用的胸部X射线(CXR)及其对应的放射学(文本)报告语料库上进行调整,评估了生成的高保真CXR的图像质量和文本 - 图像对齐的能力,并观察到使用数据增强的方式训练动态成像分类器的证据。
Nov, 2022
该论文主要研究了自动放射学报告生成的技术,重点关注了图像编码组件的相对重要性,并在 MIMIC-CXR 数据集上比较了四种不同的图像编码方法,结果表明fine-grained编码优于其他编码方法。
Nov, 2022
本文提出了一种新的方法,通过使用标签机从医学报告中提取比较先前的信息,并将该先前信息整合到基于Transformer的模型中,从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型,提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。
May, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部X光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像-derived视觉特征的变压器编码器-解码器网络,以提高报告生成的质量。
Nov, 2023
提出了一种名为TiBiX的方法,利用时间信息实现双向X光和报告生成,通过考虑先前的扫描,解决了两个挑战性问题,同时在报告生成和图像生成方面实现了良好的性能。
Mar, 2024
该研究调查了将多样的患者数据源整合到多模态语言模型中,用于自动化胸部X射线报告生成。通过使用MIMIC-CXR和MIMIC-IV-ED数据集,该研究通过整合详细的患者信息,如不定期的生命体征、药物和临床病史,将异质数据源转化为嵌入向量,从而显著提高了生成放射学报告的诊断准确性。全面的评估显示了使用更广泛的患者数据的好处,强调了通过将多模态数据整合到胸部X射线报告生成中可以提高诊断能力和改善患者预后的潜力。
Jun, 2024
通过对Chest X-ray照片的解释和生成自然语言描述,结合高级推理,评估可用于医学报告生成的视觉-语言模型的性能,发现这些模型往往会产生具有自信的语言,从而导致临床解释的减慢。因此,我们开发了一种基于Agent的视觉-语言方法,使用线性探测和短语锚定工具生成基于不确定性的放射学报告,准确定位和描述病理学。通过开发评估平台进行用户研究,结合自然语言处理指标、Chest X-ray基准和呼吸专家的临床评估,我们的结果显示出在AI生成报告的准确性、解释性和安全性方面的相当大的改进。同时,强调需要更大规模的配对(照片和报告)数据集以及数据扩增来解决这些大型视觉-语言模型中的过拟合问题。
Jul, 2024
本研究解决了现有X射线医学报告生成方法在提取有效信息和计算复杂性方面的不足。提出了一种上下文引导的高效生成框架,通过从训练集中检索样本以增强特征表示能力,从而生成高质量的医学报告。实验结果表明,该方法在多个数据集上具有显著的性能提升。
Aug, 2024
本研究解决了放射报告生成过程中的评价局限,提出利用变压器模型从胸部X光片生成放射报告的方法,展现出在生成速度和效果上优于传统LSTM模型的优势。我们强调在评估生成报告时应结合语言生成和分类指标,以确保报告的连贯性和诊断价值。
Aug, 2024