ACLApr, 2024

SERPENT-VLM：利用视觉语言模型自我生成精化放射学报告

PDF
TL;DR尽管现有方法经常会在基于文本的报告中凭空想象细节，而不能准确反映图像内容，但《Radiology Report Generation（R2Gen）》展示了多模态大型语言模型（MLLMs）如何自动化生成准确和连贯的放射学报告。为了缓解这个问题，我们引入了一种新颖的策略 SERPENT-VLM，将自我完善的机制集成到 MLLM 框架中，通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性，在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像 - 文本表示，从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本，从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM 在 IU X-ray 和 Radiology Objects in COntext（ROCO）数据集上优于现有的基线方法，如 LLaVA-Med、BiomedGPT 等，并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了 MLLM 框架在 R2Gen 中向更复杂方向发展的重要进展，为医学成像领域的自监督完善研究打开了新的研究路径。
radiology report generationmulti-modal large language modelsserpent-vlmself-refining mechanismnuanced report generation
发现论文，激发创造
  • R2GenGPT：使用冻结 LLM 的放射学报告生成

    为了有效地弥合 LLMs 和 R2Gen 任务之间的模态差异，提出了一种新颖的解决方案 R2GenGPT，通过高效的视觉对齐模块将视觉特征与 LLMs 的词嵌入空间对齐，使得以前静态的 LLMs 能够无缝集成和处理图像信息，从而优化 R2Gen 性能。

    Sep, 2023

  • 有效微调以提升大型多模态放射学报告生成模型

    利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

    Dec, 2023

  • RoentGen: 胸部 X 光图像生成的视觉语言基础模型

    本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

    Nov, 2022

  • 利用视觉 - 语言预训练实现医学图像和文本的多模态理解与生成

    本文提出了一种名为 MedViLL 的多模态自然语言处理模型，基于 BERT，使用一种新颖的多模态注意力掩码机制，通过在医学领域内的广泛一系列的多模态表现学习任务，包括影像报告分类、影像报告检索、影像问题回答和放射学报告生成，进行了统计和严格的评估，证明了 MedViLL 在各种基线上的优越性能表现，尤其是在三个影像报告数据集（MIMIC-CXR、Open-I 和 VQA-RAD）上的实现。

    May, 2021

  • 利用专业放射科医师的专长提升放射学报告的 LLM 评估

    利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

    Jan, 2024

  • 通过记忆撰写：分层检索驱动医疗报告生成

    MedWriter 利用新型层次检索机制自动提取临床准确的医学报告，包括报告和句子级模板，以生成有意义的医学报告。通过 Open-I 和 MIMIC-CXR 的自动评估和人工评估验证了模型的有效性。

    May, 2021

  • 自监督上下文语言表征用于放射学报告，以提高通信紧急性识别

    本文利用 BERT 模型在无标注大语料库中预训练生成上下文表示，进而构建医学无标注文本的自监督学习模型提高判别医学报告的信息提示等级，并取得了显著性能优于 Word2vec 模型的效果。

    Dec, 2019

  • 魔灵：一种用于三维计算机断层扫描的视觉语言基础模型

    使用配对的 CT 扫描、电子健康记录数据和放射学报告，我们训练了一种 3D VLM 模型（Merlin），并在多个任务类型和个别任务上评估了其性能。

    Jun, 2024

  • 利用大模型推动的临床质量强化学习的放射学报告生成

    本文介绍了一种新颖的 LM-RRG 方法，它将大型模型与临床质量强化学习相结合，以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域，强调具有医学意义的特定区域。基于大型模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略，在学习过程中使用放射学报告临床质量（RadCliQ）指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验，证明了我们方法的优越性。

    Mar, 2024

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

    Jun, 2023