MiniGPT-Med: 大型语言模型作为放射学诊断的通用接口
本研究调查了使用ChatGPT将放射学报告翻译成简明语言以提高医疗保健的可行性,并将ChatGPT与GPT-4进行比较,结果发现GPT-4可以显著提高翻译的质量。
Mar, 2023
该研究综述了语言模型在医学成像领域中的应用,重点介绍了不同应用,如图像字幕、报告生成、报告分类、查找提取、视觉问答、可解释性诊断等,并探讨了语言模型在医学影像分析中的潜在优点,包括提高临床工作流程效率、降低诊断错误、协助医疗保健专业人员提供及时准确的诊断。
Apr, 2023
本文评估了ChatGPT / GPT-4在放射学自然语言推理任务上的性能,并将其与其他针对任务相关数据样本进行微调的模型进行比较。结果显示,构建能解决不同领域的各种任务的通用模型是可行的。
Apr, 2023
本研究介绍了 XrayGPT,一种新型的会话式医疗视觉-语言模型,可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐,并使用简单的线性变换,我们的模型能够具备出色的视觉会话能力,从而深入理解放射学和医学领域的知识。
Jun, 2023
本文介绍了 Radiology-GPT,它是专门为放射学领域设计的大型语言模型,通过在广泛的放射学领域知识数据集上进行指令调整,Radiology-GPT 在放射诊断、研究和沟通方面表现出优越性能,是未来临床自然语言处理发展的催化剂,并且为将生成型大型语言模型定位到特殊医疗专业方向提供了可能性,同时确保符合 HIPPA 的隐私标准。
Jun, 2023
ChatRadio-Valuer是基于大型语言模型的自动生成放射学报告的模型,通过有监督的微调、模型自适应以及临床级事件的多系统评估,它在疾病诊断方面相比ChatGPT和GPT-4等现有模型表现更佳,提供了一种有效的提升模型泛化性能和减轻专家注释工作量的方式,从而推动放射学报告的临床AI应用的推广。
Oct, 2023
本论文评估了目前最先进的大型语言模型GPT-4在放射学报告的文本应用中的表现,探索了各种提示策略,并发现GPT-4在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务,GPT-4通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明,GPT-4在放射学知识方面具备足够水平,只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结,GPT-4的输出整体上与现有的人工编写印象相当。
Oct, 2023
通过整合大型语言模型和医学图像分析,本研究介绍了一种协同辅助系统,赋予放射科医生更多权力,以提高放射诊断报告的准确性和详细性,同时减少临床医生的过劳。
Apr, 2024
利用诊断指导的引导策略和图像与标签信息,构建视觉-语言数据集,从而开发了一个通用的医疗基础模型MedDr,能够处理多样化的医疗数据模态,包括放射学、病理学、皮肤科、眼底摄影和内窥镜检查,并提出了一种简单而有效的检索增强医学诊断策略,提高了模型的泛化能力,广泛的实验验证了我们方法的优越性。
Apr, 2024
通过对14个医学影像和放射学报告数据集进行综合评估,我们发现Gemini系列模型在报告生成和病灶检测方面表现出色,但在疾病分类和解剖学定位方面面临挑战;相反,GPT系列模型在病灶分割和解剖学定位方面表现出色,但在疾病诊断和病灶检测方面遇到困难。虽然这两种模型在减轻医生工作负担、缓解有限医疗资源压力以及促进临床从业者与人工智能技术之间的合作方面都有潜力,但在临床应用之前,还需要进行实质性的改进和全面的验证。
Jul, 2024