基于记忆驱动的Transformer生成放射学报告
提出一个基于课程学习的顺序(即,图像-文本-文本)生成框架,从而将放射学报告的生成问题分为两步。使用变压器体系结构,将图像以步骤一为全局概念生成,然后进行二次生成,提高了两个基准数据集的最新技术水平。
Feb, 2021
本文提出了一种跨模式记忆网络(CMN)来增强医学影像学中放射学报告自动生成的编码器-解码器框架,实验结果表明该模型能够更好地对齐放射图像和文本信息,具有更高的临床指标准确性。
Apr, 2022
本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块,并引入新颖的医学概念生成网络来预测细粒度语义概念,并将其作为指导结合到自动生成医学报告的过程中,最终在MIMIC-CXR及图像字幕生成和医学报告生成多个领域的基准测试中,表现出了优异的性能。
Aug, 2022
本研究提出了两种方法来消除放射学报告中引用先前报告的问题,一种是基于GPT-3的few-shot方法来重写没有引用先前报告的医疗报告,另一种是基于BioBERT的标记分类方法来直接删除引用先前报告的单词。研究者们认为在这些方法的基础上,CXR-ReDonE模型能够更好地生成放射学报告,进而在临床管道中得到更好的应用。
Sep, 2022
本文提出了一种新的方法,通过使用标签机从医学报告中提取比较先前的信息,并将该先前信息整合到基于Transformer的模型中,从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型,提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。
May, 2023
本文提出了一种多模态知识注入的 U-Transformer 模型,用于辅助医学影像报告的自动生成。实验结果表明,该模型在两个广泛使用的基准数据集IU-Xray和MIMIC-CXR上优于现有技术,并且注入先验知识可以提高模型性能。
Jun, 2023
该研究提出了一种新颖的多模态变压器网络,将胸部X光片(CXR)图像与相关的患者人口统计信息相结合,合成特定患者的放射学报告,并通过综合得出的语义文本嵌入和医学图像-derived视觉特征的变压器编码器-解码器网络,以提高报告生成的质量。
Nov, 2023
提出了一种基于记忆的跨模态语义对齐模型(MCSAM),它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示,以及检索和使用检索到的记忆进行特征整合的先验知识,同时通过交叉模态语义对齐模块(SAM)生成语义视觉特征嵌入,有助于报告生成;通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息,实验证明该方法在MIMIC-CXR数据集上具有有前景的性能表现。
Mar, 2024
本研究解决了放射报告生成过程中的评价局限,提出利用变压器模型从胸部X光片生成放射报告的方法,展现出在生成速度和效果上优于传统LSTM模型的优势。我们强调在评估生成报告时应结合语言生成和分类指标,以确保报告的连贯性和诊断价值。
Aug, 2024
本研究解决了手动编写放射学报告的时间消耗和人为错误问题,通过提出一个新的框架,利用视觉增强的大语言模型进行医疗报告生成。结果显示,该资源高效的框架在生成具有强医疗背景理解和高精度的患者特定报告方面,表现出色,推动了医疗领域的临床自动化。
Oct, 2024