本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

Dec, 2021

本文提出了一种基于知识图谱的深度学习方法，将医学发现之间的相互关系挖掘和表示，并将这些先验知识用于辅助放射学报告生成，实验结果表明，相较于过去的方法，该模型性能有显著提升。

Jan, 2022

应用自然语言处理技术如信息抽取和领域特定知识图谱，从放射科医生的听写中自动生成放射学报告，并通过语义相似性度量评估所生成的病态描述，显示出与黄金标准病态描述97%的相似度。

Jun, 2022

本文介绍了RadLing这一预训练模型，它使用了500K个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支持的预训练任务。此外，本文还介绍了一种知识库辅助的词汇扩展方法，以适应放射学领域的通用分词词汇。

Jun, 2023

本研究提出了一种基于自动医学图像解释的生成式语言模型的方法，用于从胸部X线图像中检测异常区域并生成相应文本，以降低放射科医生在撰写或叙述发现结果方面的工作量。

Jun, 2023

本文提出了一种多模态知识注入的 U-Transformer 模型，用于辅助医学影像报告的自动生成。实验结果表明，该模型在两个广泛使用的基准数据集IU-Xray和MIMIC-CXR上优于现有技术，并且注入先验知识可以提高模型性能。

Jun, 2023

通过构建一个具有四个模块（Chest Feature Extractor、Dynamic Knowledge Extractor、Specific Knowledge Extractor和Multi-knowledge Integrator）的Dynamic Multi-Domain Knowledge网络，本研究旨在解决自动化生成放射学诊断报告的视觉和文本数据偏倚问题，实验结果表明该方法在评估指标上表现优于先前的技术模型。

Oct, 2023

通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识，将其与当前图像整合，以达到更准确的报告生成，并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。

Nov, 2023

尽管现有方法经常会在基于文本的报告中凭空想象细节，而不能准确反映图像内容，但《Radiology Report Generation（R2Gen）》展示了多模态大型语言模型（MLLMs）如何自动化生成准确和连贯的放射学报告。为了缓解这个问题，我们引入了一种新颖的策略SERPENT-VLM，将自我完善的机制集成到MLLM框架中，通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性，在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像-文本表示，从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本，从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM在IU X-ray和Radiology Objects in COntext（ROCO）数据集上优于现有的基线方法，如LLaVA-Med、BiomedGPT等，并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了MLLM框架在R2Gen中向更复杂方向发展的重要进展，为医学成像领域的自监督完善研究打开了新的研究路径。

Apr, 2024

本研究针对现有放射科报告生成模型无法真实体现对影像的理解和描述的细致程度这一问题，提出了一种名为ReXKG的系统，通过自动提取结构化信息构建全面的知识图谱。研究发现，ReXKG可以提供更准确的评估指标，从而帮助优化AI模型的性能，提升其在临床中的应用价值。

Aug, 2024