放射学 - Llama2:一流的大型语言模型用于放射学
本文介绍了 Radiology-GPT,它是专门为放射学领域设计的大型语言模型,通过在广泛的放射学领域知识数据集上进行指令调整,Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能,是未来临床自然语言处理发展的催化剂,并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性,同时确保符合 HIPPA 的隐私标准。
Jun, 2023
利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中,我们提出了一个简单而有效的两阶段微调方案,通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能,并对软性视觉提示和注意力机制进行了详细分析,为未来的研究方向提供了启示。
Dec, 2023
利用大型语言模型 (LLM) 开发了多模态大型语言模型来解释胸部 X 射线图像,并研究了提示工程和模型参数对其效果的影响。通过对数据集进行预训练和微调,该模型在胸部 X 射线图像解释中显示了很好的潜力。
Oct, 2023
ChatRadio-Valuer 是基于大型语言模型的自动生成放射学报告的模型,通过有监督的微调、模型自适应以及临床级事件的多系统评估,它在疾病诊断方面相比 ChatGPT 和 GPT-4 等现有模型表现更佳,提供了一种有效的提升模型泛化性能和减轻专家注释工作量的方式,从而推动放射学报告的临床 AI 应用的推广。
Oct, 2023
研究了 8 种大型语言模型对放射学报告印象进行总结的能力,使用 CT、PET-CT 和超声波报告构建零、一、三次扫描提示,并定义了五项人工评价指标以评估印象的语义,结果显示大型语言模型在完整性和正确性方面表现较好,但简洁性和真实性评分不高,并指出少量扫描提示可以提高模型的简洁性和真实性,但临床医师仍认为大型语言模型不能取代放射学家的总结能力。
Jun, 2024
本研究探讨了小型语言模型在医学领域的应用,特别是与放射学文本相关的问题回答、症状理解、放射学结果的表现、鉴别诊断、评估预后和建议治疗等疾病方面。通过对高质量的放射志教育内容进行微调,我们的实验结果表明,小型语言模型在放射学工作流程中具备可行性和有效性,能够提供简明准确的答案,从而提高放射学实践的质量和效率。
Mar, 2024
近期人工智能在医疗领域有了显著进展,本研究提出 RO-LLaMA,一个通用的大型语言模型,特为放射肿瘤学领域量身定制,能够在临床报告总结、放疗方案建议等任务中表现出卓越的性能,并且通过 CEFTune 技术进一步提高了模型的鲁棒性,同时保持了处理干净输入的能力,还将此概念创造性地转化为 LLM 驱动的分割框架 CESEG。实验结果表明,RO-LLaMA 在多中心队列数据集上展现了出色的性能和泛化能力。
Nov, 2023
本文介绍了一种新颖的 LM-RRG 方法,它将大型模型与临床质量强化学习相结合,以生成准确和全面的胸部 X 射线放射学报告。通过设计驱动的大型语言模型特征提取器分析和解释胸部 X 射线图像的不同区域,强调具有医学意义的特定区域。基于大型模型的解码器,我们开发了一种多模态报告生成器,利用来自视觉特征和文本指导的多模态提示以自回归方式生成放射学报告。最后,为了更好地反映放射科医生通常在报告中分配的临床重要和不重要的错误,我们引入了一种新颖的临床质量强化学习策略,在学习过程中使用放射学报告临床质量(RadCliQ)指标作为奖励函数。在 MIMIC-CXR 和 IU-Xray 数据集上进行了大量实验,证明了我们方法的优越性。
Mar, 2024