Jul, 2024

MedRAT：通过辅助任务进行非配对式医学报告生成

HTML
PDF
TL;DR在没有成对图像-报告数据进行训练的不成对情景中，我们提出了一个新模型，通过利用两个不同数据集中的可用信息，一个由报告组成，另一个由图像组成，结合自编码报告生成和多模态（报告-图像）对齐的思路来解决这一挑战。我们的解决方案涉及使用辅助任务，特别是对比学习和分类，将相关图像和报告定位在彼此紧密相邻的位置上。与依赖预处理步骤使用知识图存储的外部信息的先前方法不同，我们的模型名为MedRAT，在不需要成对数据或外部工具的情况下，超越了先前的最先进方法，证明了生成全面医学报告的可行性。
发现论文，激发创造
  • 关于医学影像报告的自动生成

    研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

    Nov, 2017

  • 临床准确的胸部X光报告生成

    本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统，利用计算机视觉和自然语言生成的高级方法来生成可读的报告，重点关注临床领域的细微差别，并通过强化学习来微调该系统。

    Apr, 2019

  • 学习视觉语义嵌入用于报道胸部 X 光上的异常发现

    该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法，该方法可以从报告中识别异常发现，并将它们与无监督聚类和最小规则分组，通过使用提出的有条件构建的视觉-语义嵌入进行图像和小粒度异常发现对齐，其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。

    Oct, 2020

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在MIMIC-CXR及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022

  • 多模态图像文本匹配改善基于检索的胸部X射线报告生成

    本论文介绍了一种新的检索型放射学报告生成模块Contrastive X-Ray REport Match (X-REM)，其使用语言-图像模型计算匹配分数以衡量胸部X射线图像和放射学报告的相似性，从而提高基于检索方法的放射学报告的生成效果，优于之前的方法。

    Mar, 2023

  • 超越图像：胸部X光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在ROUGE-L指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • 医学影像中的细粒度图像-文本对齐实现循环图像-报告生成

    通过引入自适应 Patch-Word 匹配模型，我们提出了一种用于相关联胸部 X 光（CXR）图像区域与医学报告中的单词并应用于 CXR 报告生成以解释生成过程的新型 AdaMatch 模型。AdaMatch 利用自适应 patch 和单词之间的细粒度关系，为指定图像区域提供相应的单词解释。通过引入自适应 Patch 提取模块，我们可以捕捉变化大小和位置的异常区域的自适应 patch。为了为 CXR 报告生成任务提供明确的解释性，我们提出了一种基于 AdaMatch 的循环 CXR 报告生成模型（AdaMatch-Cyclic）。它利用 AdaMatch 来获取 CXR 图像的关键字，并将医学报告的关键 patch 作为指导 CXR 报告生成的提示。对两个公开可用的 CXR 数据集的大量实验证明了我们方法的有效性及其优越的性能。

    Dec, 2023

  • MedCycle: 基于循环一致性的未配对医疗报告生成

    通过循环一致的映射函数和医疗报告自编码，本研究提出了一种创新方法，消除了一致标记模式的需求，提高了数据可访问性，并实现了不兼容数据集的应用，从而在无配对的胸部X射线报告生成中取得了优越的语言和临床指标的结果。

    Mar, 2024

  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在MIMIC-CXR数据集上具有有前景的性能表现。

    Mar, 2024

  • 事实序列化增强：胸部X射线报告生成的关键创新

    该论文介绍了一种名为Factual Serialization Enhancement (FSE)的新型方法，通过结构实体方法来消除报告中的演示风格词汇，实现胸部X光报告生成，并通过交叉模态对齐学习单模态特征以及从训练集中检索类似历史案例，最终利用交叉模态融合网络从这些案例中查询有价值的信息，提高图像特征和文本解码器生成高质量报告的能力。该方法在MIMIC-CXR和IU X-ray数据集上的实验证明了其在自然语言生成和临床效果度量方面优于现有方法。

    May, 2024