EMNLPOct, 2020

学习视觉语义嵌入用于报道胸部 X 光上的异常发现

PDF
TL;DR该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法，该方法可以从报告中识别异常发现，并将它们与无监督聚类和最小规则分组，通过使用提出的有条件构建的视觉 - 语义嵌入进行图像和小粒度异常发现对齐，其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。
medical image report generationabnormal findingscross-modal retrievalunsupervised clusteringconditional visual-semantic embeddings
发现论文，激发创造
  • 胸部 X 光报告生成的弱监督对比学习

    本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。

    Sep, 2021

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 解决胸部 X 射线图像报告生成中的数据偏差问题

    该论文介绍了一种使用两个不同的 word LSTMs 的层次 LSTM 模型来分别产生异常和正常语句以增加生成段落的变异性，并通过比较生成语句的独特性来分析其区别。希望这些发现能够促进新度量方法的发展，以更好地验证自动生成医学报告的方法。

    Aug, 2019

  • 超越图像：胸部 X 光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • 医学图像和报告之间的无监督多模态表示学习

    该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告，并通过受监督和无监督学习的方式，实现在文档检索任务中的表现，发现只需有限的监督即可获得与完全监督方法类似的结果。

    Nov, 2018

  • 替换和报告：基于自然语言处理的放射学报告生成

    本文提出了一种基于模板的方法，通过使用多标签图像分类器，变换器模型和 BERT 多标签文本分类器，还有规则系统从放射学图像中生成放射学报告，并在实验中通过 IU Chest X-ray 和 MIMIC-CXR 数据集表现出比现有技术模型更好的性能。

    Jun, 2023

  • 基于病变引导的可解释少样本弱监督医疗报告生成

    提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

    Nov, 2022

  • 自动胸部 X 光报告生成中图像编码的重要性

    该论文主要研究了自动放射学报告生成的技术，重点关注了图像编码组件的相对重要性，并在 MIMIC-CXR 数据集上比较了四种不同的图像编码方法，结果表明 fine-grained 编码优于其他编码方法。

    Nov, 2022

  • TieNet: 用于胸部 X 光片中常见胸部疾病分类和报告的文本图像嵌入网络

    本文提出了基于 Text-Image Embedding 网络的自动标注框架和胸透报告系统，利用临床自由文本的先验知识，结合卷积循环神经网络的多层注意力模型，对图像和文本进行嵌入和分类，并在未标记数据上相对于现有技术取得了更好的分类结果（平均 AUC 增加 6%）。

    Jan, 2018