Mar, 2024

基于记忆的跨模态语义对齐网络用于放射学报告生成

PDF
TL;DR提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。
radiology reportsmodality transfer processcross-modal semantic alignment modelclinical memory bankreport generation
发现论文，激发创造
  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 面向广义医学视觉表示学习的多粒度跨模态对齐

    本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。

    Oct, 2022

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022

  • 基于分段增强对比表示学习的医学报告生成

    通过医学图像分割（SAM）模型实现对器官、异常、骨骼等的分割，利用一种监督对比损失函数缓解数据偏差并提高医学图像报告的质量。实验证明所提模型在 IU X-Ray 公共数据集上表现出的卓越性能。

    Dec, 2023

  • 事实序列化增强：胸部 X 射线报告生成的关键创新

    该论文介绍了一种名为 Factual Serialization Enhancement (FSE) 的新型方法，通过结构实体方法来消除报告中的演示风格词汇，实现胸部 X 光报告生成，并通过交叉模态对齐学习单模态特征以及从训练集中检索类似历史案例，最终利用交叉模态融合网络从这些案例中查询有价值的信息，提高图像特征和文本解码器生成高质量报告的能力。该方法在 MIMIC-CXR 和 IU X-ray 数据集上的实验证明了其在自然语言生成和临床效果度量方面优于现有方法。

    May, 2024

  • 面向医疗报告生成的基于能力的多模态课程学习

    该研究针对医学图像生成任务的特殊性，提出了基于能力的多模态课程学习框架（CMCL），并在公开数据集上进行了实验，证明该框架可用于改善数据偏差和提高现有模型的性能。

    Jun, 2022

  • 基于记忆驱动的 Transformer 生成放射学报告

    本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

    Oct, 2020

  • 基于多视图影像融合和医学概念增强的自动放射学报告生成

    提出了一种基于深度学习技术的生成式编码解码模型，通过对大量胸部 X 光图像进行预先训练并提取医疗概念，结合词级别的注意力机制，成功生成精准较为自然的放射学报告。

    Jul, 2019

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • 基于 Sam 引导的增强细粒度混合语义学习的医学图像字幕生成

    本文介绍了一种由 SAM 模型引导的新型医学图像字幕方法，以实现对医学图像的总体信息和细节进行增强编码，通过混合语义学习的独特预训练策略，同时捕捉医学图像的整体信息和细微细节，并证明了该方法在生成医学图像描述方面在各种评估指标上优于预训练的 BLIP2 模型。

    Nov, 2023