May, 2024

事实序列化增强：胸部X射线报告生成的关键创新

HTML
PDF
TL;DR该论文介绍了一种名为Factual Serialization Enhancement (FSE)的新型方法，通过结构实体方法来消除报告中的演示风格词汇，实现胸部X光报告生成，并通过交叉模态对齐学习单模态特征以及从训练集中检索类似历史案例，最终利用交叉模态融合网络从这些案例中查询有价值的信息，提高图像特征和文本解码器生成高质量报告的能力。该方法在MIMIC-CXR和IU X-ray数据集上的实验证明了其在自然语言生成和临床效果度量方面优于现有方法。
发现论文，激发创造
  • 学习视觉语义嵌入用于报道胸部 X 光上的异常发现

    该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法，该方法可以从报告中识别异常发现，并将它们与无监督聚类和最小规则分组，通过使用提出的有条件构建的视觉-语义嵌入进行图像和小粒度异常发现对齐，其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。

    Oct, 2020

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络(CMN)来增强医学影像学中放射学报告自动生成的编码器-解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 多模态图像文本匹配改善基于检索的胸部X射线报告生成

    本论文介绍了一种新的检索型放射学报告生成模块Contrastive X-Ray REport Match (X-REM)，其使用语言-图像模型计算匹配分数以衡量胸部X射线图像和放射学报告的相似性，从而提高基于检索方法的放射学报告的生成效果，优于之前的方法。

    Mar, 2023

  • 利用协作知识生成胸部 X 光影像的放射学观察结果

    本研究提出了一种基于自动医学图像解释的生成式语言模型的方法，用于从胸部X线图像中检测异常区域并生成相应文本，以降低放射科医生在撰写或叙述发现结果方面的工作量。

    Jun, 2023

  • 超越图像：胸部X光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在ROUGE-L指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • MAIRA-1: 用于放射学报告生成的专业大型多模态模型

    我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

    Nov, 2023

  • 使用特定领域的余弦相似度度量方法对胸部X射线报告进行语义文本相似性评估

    医疗语言处理和深度学习技术作为改善医疗保健的关键工具，特别是在医学影像和医学文本数据的分析中。本研究介绍了一种新的方法，专门用于评估生成的医学报告与实际情况之间的语义相似度，该方法在领域特定的医学背景下表现出较高的效率。

    Feb, 2024

  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在MIMIC-CXR数据集上具有有前景的性能表现。

    Mar, 2024

  • 胸部X光报告生成的结构实体提取与患者指征融入

    我们介绍了一种新方法，用于胸部X射线报告生成，并通过实验证明其在自然语言生成和临床效果评估方面优于现有方法。

    May, 2024

  • MedRAT：通过辅助任务进行非配对式医学报告生成

    在没有成对图像-报告数据进行训练的不成对情景中，我们提出了一个新模型，通过利用两个不同数据集中的可用信息，一个由报告组成，另一个由图像组成，结合自编码报告生成和多模态（报告-图像）对齐的思路来解决这一挑战。我们的解决方案涉及使用辅助任务，特别是对比学习和分类，将相关图像和报告定位在彼此紧密相邻的位置上。与依赖预处理步骤使用知识图存储的外部信息的先前方法不同，我们的模型名为MedRAT，在不需要成对数据或外部工具的情况下，超越了先前的最先进方法，证明了生成全面医学报告的可行性。

    Jul, 2024