May, 2024

多模态区域对齐网络用于 Covid X 光生存预测与报告生成

PDF
TL;DR应对全球 COVID-19 大流行，先进的自动化技术已成为有价值的工具，以改善放射学报告生成和预测分析，分担医疗专业人员的工作负担。本研究提出了一种多模态区域对齐网络（MRANet），该网络是一个可解释的模型，用于放射学报告生成和生存预测，重点关注高风险区域。通过学习检测器中的空间相关性，MRANet 在视觉上确定特定区域的描述，提供具备完成策略的鲁棒解剖学区域。采用了一种新颖的生存注意机制来嵌入每个区域的视觉特征，为句子编码提供具有空间感知和风险感知的特征，并在任务间保持整体连贯性。采用交叉 LLMs 对齐以增强图像到文本的转换过程，从而产生富含临床细节且具有改进可解释性的句子，用于提高放射科医师的信任。多中心实验证实了 MRANet 整体性能和模型内各模块的组成，鼓励进一步改进放射学报告生成研究，注重医学研究中的临床解释和可信性。代码可在此 https URL 找到。
发现论文，激发创造
  • 跨模态原型驱动网络用于放射学报告生成

    本文介绍一种名为 XPRONET 的交叉模态原型驱动的网络来生成放射学报告，并在 IU-Xray 和 MIMIC-CXR 基准测试中实现了与最新技术相比显著的改进和相当的表现。

    Jul, 2022

  • 放射学报告生成的自适应全局 - 局部特征增强

    本文提出了一个新的框架 AGFNet，通过动态融合全局和解剖区域特征来生成多粒度放射学报告，该方法可以充分利用放射学图像和文本的多粒度信息，从而帮助生成更精准的报告。

    Nov, 2022

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 交互式及可解释的区域引导放射学报告生成

    本研究提出了一种基于区域引导的报告生成模型，该模型能够检测解剖区域并生成具有人类可读性和可解释性的报告，通过额外的交互能力和更高的透明度和可解释性，扩展了新的临床应用案例。实验结果表明，该方法在报告生成方面具有非常出色的性能，并在交互性能方面表现突出。

    Apr, 2023

  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。

    Mar, 2024

  • MAIRA-1: 用于放射学报告生成的专业大型多模态模型

    我们提出了一种放射学特定的多模态模型，用于从胸部 X 线片 (CXR) 生成放射学报告。我们的工作基于这样一个观点，即大型语言模型可以通过与预训练的视觉编码器对齐来具备多模态能力。在自然图像上，这已被证明可以使多模态模型具有图像理解和描述能力。我们提出的模型 (MAIRA-1) 结合了一个特定于 CXR 的图像编码器和一个基于 Vicuna-7B 的精调大型语言模型，以及基于文本的数据增强方法，以产生具有最先进质量的报告。具体而言，MAIRA-1 在与放射科医生对齐的 RadCliQ 指标和所有考虑的词汇指标上均有显著提高。对模型输出进行手动审核显示出生成报告的流畅性和准确性，同时揭示了现有评估方法未捕捉到的故障模式。更多信息和资源可在项目网站中找到：this https URL。

    Nov, 2023

  • AnaXNet：基于解剖学的胸部 X 光多标签病变定位分类

    本文提出了一种多标签胸部 X 光分类模型，能够准确分类图像发现，同时将发现位置定位到正确的解剖区域。该模型包括两个模块 - 检测模块和解剖依赖模块，并采用图卷积网络实现解剖部位之间的有关系学习。实验结果表明，与现有的多标签胸部 X 射线图像分类方法相比，该方法是有效且能够提供精确的位置信息。

    May, 2021

  • MULAN：联合病变检测、标记和分割的多任务通用病变分析网络

    本文提出一种多任务普适性病变分析网络，它基于改进的 Mask R-CNN 框架，能够联合检测、标注和分割身体各部位的病变，达到了 DeepLesion 数据集上最高的检测和标注精度。

    Aug, 2019

  • 基于掩膜对比学习的细粒度对齐算法：提升放射学报告基础模型的表示能力

    本研究介绍了 MaCo，一种新颖的多模态医学基础模型，通过探索遮蔽对比学习实现医学影像任务的细粒度对齐和零样本学习，并结合相关权重机制来增强表示学习能力。我们在六个知名的开源 X 射线数据集上评估 MaCo，实验结果表明其在分类、分割和零样本阶段定位方面优于七种最先进的方法，展示了其在促进各种医学图像分析任务方面的巨大潜力。

    Sep, 2023

  • 面向广义医学视觉表示学习的多粒度跨模态对齐

    本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。

    Oct, 2022