RadSum23的shs-nlp：面向领域自适应的指令调整LLMs预训练，用于放射学报告印象生成

Jun, 2023

RadSum23的shs-nlp：面向领域自适应的指令调整LLMs预训练，用于放射学报告印象生成

shs-nlp at RadSum23: Domain-Adaptive Pre-training of Instruction-tuned LLMs for Radiology Report Impression Generation

Sanjeev Kumar Karn, Rikhiya Ghosh, Kusuma P, Oladimeji Farri

TL;DR本文提出了一个使用大规模医疗文本数据对指令调整的生成大语言模型进行领域自适应预训练的系统，以增强其医疗知识和特定任务的表现。该系统在零样本情况下在IMPRESSIONS生成任务上表现比其他预训练和微调方法更好，并在BioNLP 2023研讨会的Radiology Report Summarization Task 1B中排名第一。

Abstract

Instruction-tuned generative large language models (LLMs) like ChatGPT and Bloomz possess excellent generalization abilities, but they face limitations in understanding radiology reports, particularly in the task

发现论文，激发创造

ImpressionGPT: 面向放射学报告摘要的迭代优化框架和ChatGPT

提出了ImpressionGPT，利用建立动态上下文的方法，使模型通过语言模型的上下文学习能力获得从现有数据中语义相似的示例的上下文知识，并设计一种迭代优化算法，用于对生成的印象结果进行自动评估和对应的指令提示，从而在不需要额外训练数据或微调语言模型的情况下在MIMIC-CXR和OpenI数据集上实现了最佳性能。

Apr, 2023

通过轻量级领域自适应大型语言模型实现放射学报告摘要

本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在RRS范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。

May, 2023

RadLing：面向高效放射学报告理解

本文介绍了RadLing这一预训练模型，它使用了500K个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支持的预训练任务。此外，本文还介绍了一种知识库辅助的词汇扩展方法，以适应放射学领域的通用分词词汇。

Jun, 2023

复杂任务的基石：领域转移下放射学报告的鲁棒性生成事件抽取

本文介绍了一种从放射学报告中提取信息以降低标注数据需求的方法，并比较了基于BERT的任务特定分类层和基于T5的多通道文本生成模型在应用领域中的泛化能力。另外，该文提出了创新的模型推理技术，将复杂任务分解为更小的子任务块，通过多任务联合训练实现了模型单次扫描时的高效率。同时，该文所述方法利用目标领域的上下文信息，增强了模型的领域自适应能力，进而使得在临床应用中更加便捷。

Jun, 2023

放射学自然语言处理的大型语言模型评估

大型语言模型在医学领域的实际应用中的性能、优势和不足进行了关键性评估。

Jul, 2023

有效微调以提升大型多模态放射学报告生成模型

利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

利用专业放射科医师的专长提升放射学报告的LLM评估

利用大型语言模型进行人工智能辅助的放射学报告生成与评估研究，通过结合放射科医生专业知识并采用相关评估指标以提高医学报告质量评估水平。

Jan, 2024

LLM-RadJudge：X光报告生成实现放射科医师级评估

使用大型语言模型对医学成像报告进行评估的一项新颖评估框架，通过与放射科医生评估结果的对比，提出了一种性能接近GPT-4的度量标准。为了降低成本并提高可访问性，利用语言模型评估结果构建数据集，进行了知识蒸馏以训练较小的模型，该模型的评估能力与GPT-4相当，为医学成像报告生成提供了一种易于使用和高效的评估方法，促进了更具临床相关性的模型的开发，该模型将进一步开源和提供可访问性。

Apr, 2024

MRScore: 基于LLM的放射学报告生成评估系统

该研究介绍了MRScore，一种针对放射学报告生成的自动评估指标，通过利用大型语言模型(LLMs)。相较于传统的自然语言生成(NLG)指标如BLEU，MRScore更准确地评估生成的放射学报告。作者与放射科医生合作开发了一个框架，该框架指导LLMs进行放射学报告评估，以确保与人类分析保持一致。我们的实验证明MRScore与人类判断有更高的相关性，并在模型选择方面表现出优越性能。我们的代码和数据集将在GitHub上提供。

Apr, 2024

大型语言模型在总结放射学报告印象方面的现状

研究了8种大型语言模型对放射学报告印象进行总结的能力，使用CT、PET-CT和超声波报告构建零、一、三次扫描提示，并定义了五项人工评价指标以评估印象的语义，结果显示大型语言模型在完整性和正确性方面表现较好，但简洁性和真实性评分不高，并指出少量扫描提示可以提高模型的简洁性和真实性，但临床医师仍认为大型语言模型不能取代放射学家的总结能力。

Jun, 2024