Jun, 2020

医疗报告生成的辅助信号引导知识编码器 - 解码器

PDF
TL;DR该论文提出了一种基于图像特征和医疗语言信息的 Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) 模型，用于解决医学报告生成中的一些问题，并在 CX-CHR 数据集和 COVID-19 CT 报告数据集上取得了良好效果。
medical report generationauxiliary signal-guided knowledge encoder-decodercovid-19 ct report datasetmedical graph encodernatural language decoder
发现论文，激发创造
  • 无监督医学报告生成的知识图谱自动编码

    提出了一种基于知识图谱自编码器（KGAE）的无监督学习模型，实现医学图像和文本信息自动关联。在医学报告生成中，KGAE 的性能达到目前同类模型的最高水平。

    Nov, 2021

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • 基于知识驱动的医学图像报告生成模型：编码、检索、改写

    本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法，将医学报告生成分解为医学异常图形学习和自然语言建模两个部分，通过编码、检索和改写等子模块实现；其中，核心部分是图形变换器，可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明，该方法在两项医学报告测试中取得了最佳结果，达到最优医学异常和疾病分类准确性并提高了人工评估性能。

    Mar, 2019

  • 放射学报告生成的自我导向框架

    该研究提出了一种自我指导的框架，它采用无监督和监督深度学习方法，模仿人类学习和写作的过程，成功地提高了医学报告的生成准确性和长度，并获得了比当前最先进方法更好的性能。

    Jun, 2022

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 解剖结构导向的医学视觉语言预训练

    通过视觉语言预训练学习医学视觉表示已取得显著进展，本研究提出了一种以解剖结构为指导的框架（ASG），以解决局部对齐的可解释性和临床相关性不足，以及图像 - 报告对的内外表示学习不足的问题。通过自动解剖句子对齐，并将发现和存在视为图像标签，该方法在五个公共基准数据集上展示出优于现有方法的实验结果。

    Mar, 2024

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022

  • 放射报告生成的强化视觉引导网络

    通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在 IU X-Ray 和 MIMIC-CXR 两个常用数据集上展现出比其他最先进方法更优越的能力。

    Feb, 2024

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 基于病变引导的可解释少样本弱监督医疗报告生成

    提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

    Nov, 2022