ReXplain:将放射学转化为患者友好的视频报告
本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统,利用计算机视觉和自然语言生成的高级方法来生成可读的报告,重点关注临床领域的细微差别,并通过强化学习来微调该系统。
Apr, 2019
该研究系统评估了最近NLP应用于放射学报告方面的文献,并将其归类为6个临床应用类别,结果表明,深度学习的使用在增加,但传统的机器学习方法仍然普遍存在。
Feb, 2021
本研究提出了一种基于区域引导的报告生成模型,该模型能够检测解剖区域并生成具有人类可读性和可解释性的报告,通过额外的交互能力和更高的透明度和可解释性,扩展了新的临床应用案例。实验结果表明,该方法在报告生成方面具有非常出色的性能,并在交互性能方面表现突出。
Apr, 2023
通过从图像中提取内容,并将提取的内容转化为与特定放射科医生风格匹配的报告,我们提出了一种用于射线学报告生成的两步方法,该方法利用RadGraph和大型语言模型(LLMs)。量化评估结果证明,我们的方法带来了良好的性能。与临床评估员进行的人类评估表明,尽管只使用了几个示例作为背景信息,但AI生成的报告与个体放射科医生的风格无法区分。
Oct, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部X光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像-derived视觉特征的变压器编码器-解码器网络,以提高报告生成的质量。
Nov, 2023
放射学报告是现代医学的重要组成部分,自动化报告生成和AI生成的报告对放射学家和临床决策具有潜在的帮助,但面临着质量评估和医生参与的挑战。本研究展示了放射科医生与AI系统进行合作的潜力以及AI生成报告与专家撰写报告的比较结果。
Nov, 2023
RaDialog是一个用于放射学报告生成和交互对话的大型视觉语言模型,通过有效集成视觉图像特征和结构化病理结果,并使用参数高效的微调方法,实现了最先进的临床正确性,以及在纠正报告和回答问题等互动任务方面展现出惊人的能力,为临床对话系统打下了基础。
Nov, 2023
尽管现有方法经常会在基于文本的报告中凭空想象细节,而不能准确反映图像内容,但《Radiology Report Generation(R2Gen)》展示了多模态大型语言模型(MLLMs)如何自动化生成准确和连贯的放射学报告。为了缓解这个问题,我们引入了一种新颖的策略SERPENT-VLM,将自我完善的机制集成到MLLM框架中,通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性,在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像-文本表示,从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本,从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM在IU X-ray和Radiology Objects in COntext(ROCO)数据集上优于现有的基线方法,如LLaVA-Med、BiomedGPT等,并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了MLLM框架在R2Gen中向更复杂方向发展的重要进展,为医学成像领域的自监督完善研究打开了新的研究路径。
Apr, 2024
本研究探讨大型语言模型在自动生成适合患者的放射学报告简化方面的适用性,研究结果表明自我纠正提示能够产生高质量的简化报告,为放射科医生和一般人对于文本简化的喜好提供了启示,对未来的研究有指导意义。
Jun, 2024
本研究针对现有放射科报告生成模型无法真实体现对影像的理解和描述的细致程度这一问题,提出了一种名为ReXKG的系统,通过自动提取结构化信息构建全面的知识图谱。研究发现,ReXKG可以提供更准确的评估指标,从而帮助优化AI模型的性能,提升其在临床中的应用价值。
Aug, 2024