R2GenGPT：使用冻结 LLM 的放射学报告生成

Sep, 2023

R2GenGPT：使用冻结 LLM 的放射学报告生成

R2GenGPT: Radiology Report Generation with Frozen LLMs

Zhanyu Wang, Lingqiao Liu, Lei Wang, Luping Zhou

TL;DR为了有效地弥合 LLMs 和 R2Gen 任务之间的模态差异，提出了一种新颖的解决方案 R2GenGPT，通过高效的视觉对齐模块将视觉特征与 LLMs 的词嵌入空间对齐，使得以前静态的 LLMs 能够无缝集成和处理图像信息，从而优化 R2Gen 性能。

Abstract

large language models (LLMs) have consistently showcased remarkable generalization capabilities when applied to various language tasks. Nonetheless, harnessing the full potential of LLMs for Radiology Report Generation (R2Gen) still presents a challenge, stemming from the inherent disp

large language models radiology report generation r2gengpt visual alignment module performance optimization

发现论文，激发创造

Radiology-GPT：一种用于放射学的大型语言模型

本文介绍了 Radiology-GPT，它是专门为放射学领域设计的大型语言模型，通过在广泛的放射学领域知识数据集上进行指令调整，Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能，是未来临床自然语言处理发展的催化剂，并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性，同时确保符合 HIPPA 的隐私标准。

Jun, 2023

有效微调以提升大型多模态放射学报告生成模型

利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

LLM-RadJudge：X 光报告生成实现放射科医师级评估

使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与 GPT-4 相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

Apr, 2024

SERPENT-VLM：利用视觉语言模型自我生成精化放射学报告

尽管现有方法经常会在基于文本的报告中凭空想象细节，而不能准确反映图像内容，但《Radiology Report Generation（R2Gen）》展示了多模态大型语言模型（MLLMs）如何自动化生成准确和连贯的放射学报告。为了缓解这个问题，我们引入了一种新颖的策略 SERPENT-VLM，将自我完善的机制集成到 MLLM 框架中，通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性，在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像 - 文本表示，从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本，从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM 在 IU X-ray 和 Radiology Objects in COntext（ROCO）数据集上优于现有的基线方法，如 LLaVA-Med、BiomedGPT 等，并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了 MLLM 框架在 R2Gen 中向更复杂方向发展的重要进展，为医学成像领域的自监督完善研究打开了新的研究路径。

Apr, 2024

利用专业放射科医师的专长提升放射学报告的 LLM 评估

利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

Jan, 2024

探索 GPT-4 在放射学领域的边界

本论文评估了目前最先进的大型语言模型 GPT-4 在放射学报告的文本应用中的表现，探索了各种提示策略，并发现 GPT-4 在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4 通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4 在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4 的输出整体上与现有的人工编写印象相当。

Oct, 2023

XrayGPT: 医学视觉语言模型用于胸部 X 光摘要

本研究介绍了 XrayGPT，一种新型的会话式医疗视觉 - 语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

Jun, 2023

面向三维脑部 CT 报告生成的多模态大型语言模型的整体框架

通过收集 3D 脑部 CT 数据集，使用临床视觉指导调整 (CVIT) 训练 BrainGPT 模型生成符合放射学的脑部 CT 报告，并提出了一种新的面向特征的放射学任务评估 (FORTE) 方法来评估报告的临床相关性。

Jul, 2024

MRScore: 基于 LLM 的放射学报告生成评估系统

该研究介绍了 MRScore，一种针对放射学报告生成的自动评估指标，通过利用大型语言模型 (LLMs)。相较于传统的自然语言生成 (NLG) 指标如 BLEU，MRScore 更准确地评估生成的放射学报告。作者与放射科医生合作开发了一个框架，该框架指导 LLMs 进行放射学报告评估，以确保与人类分析保持一致。我们的实验证明 MRScore 与人类判断有更高的相关性，并在模型选择方面表现出优越性能。我们的代码和数据集将在 GitHub 上提供。

Apr, 2024

探索多语言大型语言模型以提升肺癌分期放射学报告的 TNM 分级分类

本研究旨在调查利用 GPT3.5-turbo（GPT3.5）进行放射学报告的 TNM 分级的准确性及多语种 LLMs 在日语和英语中的实用性。通过分析多语言 TNM 定义对准确性的影响，研究表明提供完整的 TNM 定义可明显提高放射学报告的分类准确性，且多语种 LLMs 在放射学领域具有潜在应用价值。

Jun, 2024