May, 2024

事实序列化增强：胸部 X 射线报告生成的关键创新

PDF
TL;DR该论文介绍了一种名为 Factual Serialization Enhancement (FSE) 的新型方法，通过结构实体方法来消除报告中的演示风格词汇，实现胸部 X 光报告生成，并通过交叉模态对齐学习单模态特征以及从训练集中检索类似历史案例，最终利用交叉模态融合网络从这些案例中查询有价值的信息，提高图像特征和文本解码器生成高质量报告的能力。该方法在 MIMIC-CXR 和 IU X-ray 数据集上的实验证明了其在自然语言生成和临床效果度量方面优于现有方法。
automation of writing imaging reportscross-modal alignmentsimilar historical cases retrievalfactual serialization enhancementchest x-ray report generation
发现论文，激发创造
  • 胸部 X 光报告生成的结构实体提取与患者指征融入

    我们介绍了一种新方法，用于胸部 X 射线报告生成，并通过实验证明其在自然语言生成和临床效果评估方面优于现有方法。

    May, 2024

  • 超越图像：胸部 X 光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • 通过语义奖励提高放射科报告生成的事实正确性

    通过使用 RadGraph 奖励提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显着改善了放射学报告生成效果。

    Oct, 2022

  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。

    Mar, 2024

  • 学习视觉语义嵌入用于报道胸部 X 光上的异常发现

    该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法，该方法可以从报告中识别异常发现，并将它们与无监督聚类和最小规则分组，通过使用提出的有条件构建的视觉 - 语义嵌入进行图像和小粒度异常发现对齐，其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。

    Oct, 2020

  • 提高图像到文本放射学报告生成的事实完整性和一致性

    通过引入新的激励机制，结合现有语义等效性指标和强化学习方法，我们的放射学报告生成系统成功地在临床信息提取性能 F1 得分上取得了 22.1 的改进，并且相较于基线，能更加准确地生成完整一致的报告。

    Oct, 2020

  • 多模态图像文本匹配改善基于检索的胸部 X 射线报告生成

    本论文介绍了一种新的检索型放射学报告生成模块 Contrastive X-Ray REport Match (X-REM)，其使用语言 - 图像模型计算匹配分数以衡量胸部 X 射线图像和放射学报告的相似性，从而提高基于检索方法的放射学报告的生成效果，优于之前的方法。

    Mar, 2023

  • 使用特定领域的余弦相似度度量方法对胸部 X 射线报告进行语义文本相似性评估

    医疗语言处理和深度学习技术作为改善医疗保健的关键工具，特别是在医学影像和医学文本数据的分析中。本研究介绍了一种新的方法，专门用于评估生成的医学报告与实际情况之间的语义相似度，该方法在领域特定的医学背景下表现出较高的效率。

    Feb, 2024

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022