CVPRJun, 2021

探索和提取辐射学报告生成的后验和先验知识

PDF
TL;DR本论文提出了一种后验和先验知识挖掘与提取方法，旨在跟随放射科医生的工作模式来生成放射学报告，该方法通过探索医学知识图谱和放射学报告来缓解报告生成中的视觉和文本数据偏误，并利用多域知识蒸馏来生成最终的报告，最终在 MIMIC-CXR 和 IU-Xray 数据集上取得了优于之前最先进模型的效果。
radiologyreport generationppkedneural networksmedical imaging
发现论文，激发创造
  • 先验知识增强放射学报告生成

    本文提出了一种基于知识图谱的深度学习方法，将医学发现之间的相互关系挖掘和表示，并将这些先验知识用于辅助放射学报告生成，实验结果表明，相较于过去的方法，该模型性能有显著提升。

    Jan, 2022

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • 增强的知识注入用于放射学报告生成

    通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识，将其与当前图像整合，以达到更准确的报告生成，并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。

    Nov, 2023

  • 胸部 X 光报告生成的动态多领域知识网络

    通过构建一个具有四个模块（Chest Feature Extractor、Dynamic Knowledge Extractor、Specific Knowledge Extractor 和 Multi-knowledge Integrator）的 Dynamic Multi-Domain Knowledge 网络，本研究旨在解决自动化生成放射学诊断报告的视觉和文本数据偏倚问题，实验结果表明该方法在评估指标上表现优于先前的技术模型。

    Oct, 2023

  • 通过删除虚构的对不存在的先验的引用来改进放射学报告生成系统

    本研究提出了两种方法来消除放射学报告中引用先前报告的问题，一种是基于 GPT-3 的 few-shot 方法来重写没有引用先前报告的医疗报告，另一种是基于 BioBERT 的标记分类方法来直接删除引用先前报告的单词。研究者们认为在这些方法的基础上，CXR-ReDonE 模型能够更好地生成放射学报告，进而在临床管道中得到更好的应用。

    Sep, 2022

  • 注入比较先验知识的放射学报告生成增强

    本文提出了一种新的方法，通过使用标签机从医学报告中提取比较先前的信息，并将该先前信息整合到基于 Transformer 的模型中，从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型，提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。

    May, 2023

  • 知识图谱构建及其在放射科医生口述自动报告生成中的应用

    应用自然语言处理技术如信息抽取和领域特定知识图谱，从放射科医生的听写中自动生成放射学报告，并通过语义相似性度量评估所生成的病态描述，显示出与黄金标准病态描述 97% 的相似度。

    Jun, 2022

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 促进学习是否有利于放射学报告生成？

    本文介绍了 PromptRRG，一种利用提示学习激活预训练模型并结合先前知识的辅助放射学报告生成方法，并通过对 Prompt 设计的研究将其分为常见提示、领域特定提示和疾病丰富提示等级。在最大的放射学报告生成基准 MIMIC-CXR 上进行的实验结果显示，我们的方法达到了最先进的性能。

    Aug, 2023