Jun, 2023
XrayGPT: 医学视觉语言模型用于胸部 X 光摘要
XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models
Omkar Thawkar, Abdelrahman Shaker, Sahal Shaji Mullappilly, Hisham Cholakkal, Rao Muhammad Anwer...
TL;DR本研究介绍了 XrayGPT,一种新型的会话式医疗视觉 - 语言模型,可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐,并使用简单的线性变换,我们的模型能够具备出色的视觉会话能力,从而深入理解放射学和医学领域的知识。