Nov, 2023

基于因果推理和反事实增强的放射学报告生成的重新思考

PDF
TL;DR放射学报告生成（RRG）是视觉和语言领域之间的互动问题。以前的研究继承了视觉到语言生成任务的思想，旨在生成一致性较高的报告段落。然而，RRG 的一个独特特征 - 疾病之间的独立性被忽视，导致了伪因变量注入，即疾病共现。不幸的是，由于 RRG 数据分布的偏倚，这个伪因变量更加混淆了报告生成过程。在本文中，我们从统计学和因果性的新角度推理了此问题的原因和影响，其中联合视觉耦合和条件句连贯耦合是两个容易隐式降低报告准确性的方面。然后，提出了一种包含反事实样本合成和反事实报告重建子方法的反事实增强策略来消除这两个伪因变量的影响。对两个广泛使用的数据集的实验结果和进一步分析证实了我们的推理和提出的方法。
radiology report generationvision-to-language generation tasksdisease co-occurrencecounterfactual augmentation strategyreport generation
发现论文，激发创造
  • 基于深度学习的放射学报告生成研究的系统综述

    深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。

    Nov, 2023

  • 利用大模型推动的临床质量强化学习的放射学报告生成

    本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

    Mar, 2024

  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • 场景图辅助放射学报告生成

    通过使用场景图来丰富医学知识，本研究提出了一种基于场景图的放射学报告生成网络（SGRRG 网络），该网络能够生成区域级别的视觉特征，预测解剖属性，并利用自动生成的场景图，以实现端到端的医学知识提炼，并在报告生成方面胜过之前的最先进方法，并能更好地捕捉异常发现。

    Mar, 2024

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • X 射线简化：用通俗语言生成和评估放射学报告

    通过引入一个以外行人术语为基础的数据集、评估和训练框架来系统地改进放射学报告生成 (RRG)，以解决现有用于评估 RRG 的词汇基准度量方法（如 BLEU）的问题，该方法的高性能可能只是一个幻觉。我们提出了一个基于语义的评估方法，并证明其可以缓解 BLEU 得分的虚高问题，为 RRG 提供更公平的评估。我们还展示了在外行人术语数据集上训练可以促使模型关注报告的语义，而不是过度拟合报告模板。

    Jun, 2024

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • 基于树形推理的观察引导放射学报告生成

    本文提出了一种以观察为导向的放射学报告生成框架（ORGAN），其通过采用观察图和树型推理机制，将图像信息与文本计划结合进行报告生成，其实验结果表明，相比先前最先进的方法，该框架在文本质量和临床疗效方面表现更佳。

    Jun, 2023

  • 像放射科医师一样阅读放射学影像

    提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

    Jul, 2023

  • 自动化放射学报告生成：近期进展综述

    医疗影像科室面临日益增长的需求对放射科医生准时准确提交报告的压力。最近人工智能技术的进步已展示出自动生成放射学报告（ARRG）的巨大潜力，引发了大量研究。该调查论文通过方法学评审对当代 ARRG 方法进行了回顾，包括：评估基于特征（如可用性、大小和采用率）的数据集，研究深度学习训练方法（如对比学习和强化学习），探索先进的模型架构（包括 CNN 和 Transformer 模型的变种），通过多模态输入和知识图谱集成临床知识的技术，以及审查常用的 NLP 评估指标和定性临床审查的当前模型评估技术。此外，还分析了审查模型的定量结果，检查了表现最佳的模型以寻求进一步的见解。最后，强调了潜在的新方向，预测将采用其他放射学模态的附加数据集和改进的评估方法作为未来发展的重要领域。

    May, 2024