Nov, 2023

增强的知识注入用于放射学报告生成

PDF
TL;DR通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识，将其与当前图像整合，以达到更准确的报告生成，并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。
automatic generationradiology reportsknowledge injection frameworkmedical imagesaccurate report generation
发现论文，激发创造
  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • KiUT: 应用知识的 U-Transformer 用于放射学报告生成

    本文提出了一种多模态知识注入的 U-Transformer 模型，用于辅助医学影像报告的自动生成。实验结果表明，该模型在两个广泛使用的基准数据集 IU-Xray 和 MIMIC-CXR 上优于现有技术，并且注入先验知识可以提高模型性能。

    Jun, 2023

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 强化视觉 - 语言基础模型：关键语义知识强调的报告优化

    通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉 - 语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性，并展示了其在不同临床应用中的鼓舞人心的潜力。

    Jan, 2024

  • 胸部 X 光报告生成的动态多领域知识网络

    通过构建一个具有四个模块（Chest Feature Extractor、Dynamic Knowledge Extractor、Specific Knowledge Extractor 和 Multi-knowledge Integrator）的 Dynamic Multi-Domain Knowledge 网络，本研究旨在解决自动化生成放射学诊断报告的视觉和文本数据偏倚问题，实验结果表明该方法在评估指标上表现优于先前的技术模型。

    Oct, 2023

  • 知识图谱构建及其在放射科医生口述自动报告生成中的应用

    应用自然语言处理技术如信息抽取和领域特定知识图谱，从放射科医生的听写中自动生成放射学报告，并通过语义相似性度量评估所生成的病态描述，显示出与黄金标准病态描述 97% 的相似度。

    Jun, 2022

  • 利用大型语言模型进行临床报告错误校正的知识检索

    临床放射学报告中的错误更正方法研究，利用大型语言模型（LLMs）和检索增强生成（RAG）技术，通过内部和外部检索机制从报告和外部知识源中提取相关医学实体和关系，并引入三阶段推理过程，将任务分解成错误检测、定位和更正子任务，从而提高了系统的可解释性和性能，并通过由领域专家指导的对真实世界放射学报告进行真实错误损坏的基准数据集进行了评估，实验结果表明了所提方法的优势，通过内部和外部检索的结合显著提高了各种最先进的 LLMs 在错误检测、定位和更正方面的准确性，研究结果有助于为临床文档制定更健壮可靠的错误更正系统。

    Jun, 2024

  • 先验知识增强放射学报告生成

    本文提出了一种基于知识图谱的深度学习方法，将医学发现之间的相互关系挖掘和表示，并将这些先验知识用于辅助放射学报告生成，实验结果表明，相较于过去的方法，该模型性能有显著提升。

    Jan, 2022

  • 探索和提取辐射学报告生成的后验和先验知识

    本论文提出了一种后验和先验知识挖掘与提取方法，旨在跟随放射科医生的工作模式来生成放射学报告，该方法通过探索医学知识图谱和放射学报告来缓解报告生成中的视觉和文本数据偏误，并利用多域知识蒸馏来生成最终的报告，最终在 MIMIC-CXR 和 IU-Xray 数据集上取得了优于之前最先进模型的效果。

    Jun, 2021

  • 基于知识驱动的医学图像报告生成模型：编码、检索、改写

    本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法，将医学报告生成分解为医学异常图形学习和自然语言建模两个部分，通过编码、检索和改写等子模块实现；其中，核心部分是图形变换器，可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明，该方法在两项医学报告测试中取得了最佳结果，达到最优医学异常和疾病分类准确性并提高了人工评估性能。

    Mar, 2019