Radiology-Llama2 是一个基于 Llama2 体系结构的大型语言模型，通过指令调整的过程在放射学领域达到了最先进的性能，它可以根据放射学检查结果生成连贯且临床有用的印象。

Aug, 2023

本文提出了一个使用大规模医疗文本数据对指令调整的生成大语言模型进行领域自适应预训练的系统，以增强其医疗知识和特定任务的表现。该系统在零样本情况下在 IMPRESSIONS 生成任务上表现比其他预训练和微调方法更好，并在 BioNLP 2023 研讨会的 Radiology Report Summarization Task 1B 中排名第一。

Jun, 2023

为了有效地弥合 LLMs 和 R2Gen 任务之间的模态差异，提出了一种新颖的解决方案 R2GenGPT，通过高效的视觉对齐模块将视觉特征与 LLMs 的词嵌入空间对齐，使得以前静态的 LLMs 能够无缝集成和处理图像信息，从而优化 R2Gen 性能。

Sep, 2023

本文介绍了 Radiology-GPT，它是专门为放射学领域设计的大型语言模型，通过在广泛的放射学领域知识数据集上进行指令调整，Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能，是未来临床自然语言处理发展的催化剂，并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性，同时确保符合 HIPPA 的隐私标准。

Jun, 2023

利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

本论文评估了目前最先进的大型语言模型 GPT-4 在放射学报告的文本应用中的表现，探索了各种提示策略，并发现 GPT-4 在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4 通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4 在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4 的输出整体上与现有的人工编写印象相当。

Oct, 2023

利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

Jan, 2024

尽管现有方法经常会在基于文本的报告中凭空想象细节，而不能准确反映图像内容，但《Radiology Report Generation（R2Gen）》展示了多模态大型语言模型（MLLMs）如何自动化生成准确和连贯的放射学报告。为了缓解这个问题，我们引入了一种新颖的策略 SERPENT-VLM，将自我完善的机制集成到 MLLM 框架中，通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性，在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像 - 文本表示，从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本，从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM 在 IU X-ray 和 Radiology Objects in COntext（ROCO）数据集上优于现有的基线方法，如 LLaVA-Med、BiomedGPT 等，并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了 MLLM 框架在 R2Gen 中向更复杂方向发展的重要进展，为医学成像领域的自监督完善研究打开了新的研究路径。

Apr, 2024

本文介绍了 RadLing 这一预训练模型，它使用了 500K 个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支持的预训练任务。此外，本文还介绍了一种知识库辅助的词汇扩展方法，以适应放射学领域的通用分词词汇。

Jun, 2023

无结构数据的放射科医生可能对临床护理有价值，但风格的变化限制了使用。本研究比较了使用领域适应的语言模型（RadLing）和通用大型语言模型（GPT-4）从胸部放射学报告中提取常见数据元素（CDE）的系统性能。

Nov, 2023