EMNLPOct, 2020

基于记忆驱动的 Transformer 生成放射学报告

PDF
TL;DR本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。
发现论文，激发创造
  • 使用非影像数据为条件的 Transformers 生成放射学报告

    该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

    Nov, 2023

  • 替换和报告：基于自然语言处理的放射学报告生成

    本文提出了一种基于模板的方法，通过使用多标签图像分类器，变换器模型和 BERT 多标签文本分类器，还有规则系统从放射学图像中生成放射学报告，并在实验中通过 IU Chest X-ray 和 MIMIC-CXR 数据集表现出比现有技术模型更好的性能。

    Jun, 2023

  • 基于渐进式 Transformer 的放射学报告生成

    提出一个基于课程学习的顺序（即，图像 - 文本 - 文本）生成框架，从而将放射学报告的生成问题分为两步。使用变压器体系结构，将图像以步骤一为全局概念生成，然后进行二次生成，提高了两个基准数据集的最新技术水平。

    Feb, 2021

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 关于医学影像报告的自动生成

    研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

    Nov, 2017

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 自动生成精准流畅的医学 X 光报告

    本研究旨在通过将病人的胸部 X 射线图像和临床病史文档作为输入，利用一种完全可微的端到端框架来生成既流畅又具有临床准确性的医学报告，并通过分类、生成和解释三个互补模块来实现。其表现出良好的语言流畅性和临床准确性，当可提供附加信息时，例如临床文档和不同视图的额外扫描，仍然可以始终显著提高性能。

    Aug, 2021

  • 注入比较先验知识的放射学报告生成增强

    本文提出了一种新的方法，通过使用标签机从医学报告中提取比较先前的信息，并将该先前信息整合到基于 Transformer 的模型中，从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型，提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。

    May, 2023

  • 像放射科医师一样阅读放射学影像

    提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

    Jul, 2023

  • CT2Rep: 三维医学成像的自动化放射学报告生成

    通过引入一种基于先进 3D 视觉编码器和自回归因果变换器的新型方法，借助交叉注意力多模式融合模块和分层记忆，我们首次提出了一种用于生成三维医学影像尤其是胸部 CT 体素的放射学报告的方法，并证明了其有效性。

    Mar, 2024