Aug, 2022

医学语义辅助变压器模型用于放射学报告生成

PDF
TL;DR本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。
automated radiographic report generationmedical imagessemantic coherencememory-augmented sparse attention blockmedical concepts generation network
发现论文，激发创造
  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。

    Mar, 2024

  • 基于记忆驱动的 Transformer 生成放射学报告

    本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

    Oct, 2020

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 使用非影像数据为条件的 Transformers 生成放射学报告

    该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

    Nov, 2023

  • 医疗报告生成的辅助信号引导知识编码器 - 解码器

    该论文提出了一种基于图像特征和医疗语言信息的 Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) 模型，用于解决医学报告生成中的一些问题，并在 CX-CHR 数据集和 COVID-19 CT 报告数据集上取得了良好效果。

    Jun, 2020

  • 放射学报告生成的自适应全局 - 局部特征增强

    本文提出了一个新的框架 AGFNet，通过动态融合全局和解剖区域特征来生成多粒度放射学报告，该方法可以充分利用放射学图像和文本的多粒度信息，从而帮助生成更精准的报告。

    Nov, 2022

  • 放射报告生成的强化视觉引导网络

    通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在 IU X-Ray 和 MIMIC-CXR 两个常用数据集上展现出比其他最先进方法更优越的能力。

    Feb, 2024

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021