Feb, 2024

放射报告生成的强化视觉引导网络

PDF
TL;DR通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在 IU X-Ray 和 MIMIC-CXR 两个常用数据集上展现出比其他最先进方法更优越的能力。
发现论文，激发创造
  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 医疗报告生成的辅助信号引导知识编码器 - 解码器

    该论文提出了一种基于图像特征和医疗语言信息的 Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) 模型，用于解决医学报告生成中的一些问题，并在 CX-CHR 数据集和 COVID-19 CT 报告数据集上取得了良好效果。

    Jun, 2020

  • 用于减轻医学图像中的捷径学习的注视导向视觉 GNN

    本研究提出了一种新颖的注视导向视觉图神经网络（称为 GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。

    Jun, 2024

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022

  • 强化视觉 - 语言基础模型：关键语义知识强调的报告优化

    通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉 - 语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性，并展示了其在不同临床应用中的鼓舞人心的潜力。

    Jan, 2024

  • 面向广义医学视觉表示学习的多粒度跨模态对齐

    本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。

    Oct, 2022

  • 基于病变引导的可解释少样本弱监督医疗报告生成

    提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

    Nov, 2022

  • 利用视觉和语言模型与眼动模式增强胸部 X 射线分析中的人机交互

    通过整合医生的眼动数据以及文本提示，利用视觉 - 语言模型（VLMs）来增强胸部 X 射线分析中的人机交互，从而提高计算机辅助诊断在医学图像任务中的准确性。

    Apr, 2024